glat
NoDeny
Пользователь
Карма: 0
Offline
Сообщений: 33
|
|
« : 08 Ноября 2010, 20:35:34 » |
|
Назревает проблема с производительностью. сервак феном 4 ядра, 4 гига память, фря7.2 вот что выдает в биллинге, т.е. считает 53 секунды. при этом подсчет происходит каждую минуту. Еще немножко и считать будет дольше чем перион подсчета. Это нормально для такого трафика? Как улучшить ситуацию? Может что то нужно оптимизировать. Абонов как бы работает не очень много от 400 до 600. Количество обработанных строк от коллекторов трафика 211089 Время обсчета направлений 53.0 сек Время добавления трафика к текущим значениям в базе данных 2.1 сек Время получения данных трафика для передачи клиентам 0.0 сек Записей в кеше адресов обсчета направлений 1000001 netflow:10.55.100.2 Collector 8888 15 409 570 байт Время отключения абонентов превысивших лимиты 0.0 сек Записан детельный трафик на 100.0 % Время записи детализации трафика 0.8 сек 148 processes: 6 running, 126 sleeping, 16 waiting CPU 0: 1.8% user, 0.0% nice, 0.0% system, 0.0% interrupt, 98.2% idle CPU 1: 4.7% user, 0.0% nice, 1.2% system, 0.0% interrupt, 94.1% idle CPU 2: 8.9% user, 0.0% nice, 2.4% system, 0.0% interrupt, 88.8% idle CPU 3: 98.8% user, 0.0% nice, 0.0% system, 0.0% interrupt, 1.2% idle Mem: 405M Active, 799M Inact, 130M Wired, 452K Cache, 112M Buf, 1921M Free Swap: 2048M Total, 2048M Free
PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU COMMAND 14 root 171 ki31 0K 8K CPU0 0 324:37 93.95% idle: cpu0 13 root 171 ki31 0K 8K CPU1 1 339:22 83.35% idle: cpu1 11 root 171 ki31 0K 8K RUN 3 366:26 77.44% idle: cpu3 12 root 171 ki31 0K 8K RUN 2 362:50 57.18% idle: cpu2 802 root 89 -15 245M 241M CPU3 3 237:40 39.60% perl5.8.9 789 mysql 4 0 515M 143M sbwait 3 0:01 0.73% mysqld 789 mysql 45 0 515M 143M ucond 1 0:02 0.63% mysqld 789 mysql 45 0 515M 143M ucond 2 0:03 0.54% mysqld 817 root 44 0 3484K 1904K select 2 6:43 0.39% flow-capture 789 mysql 4 0 515M 143M sbwait 1 0:16 0.24% mysqld 789 mysql 44 0 515M 143M ucond 0 0:03 0.24% mysqld 789 mysql 4 0 515M 143M sbwait 2 0:11 0.20% mysqld 789 mysql 44 0 515M 143M ucond 2 0:03 0.15% mysqld 789 mysql 44 0 515M 143M ucond 1 0:03 0.15% mysqld 789 mysql 44 0 515M 143M ucond 0 0:01 0.10% mysqld 15 root -44 - 0K 8K WAIT 0 11:04 0.00% swi1: net 920 root 59 -15 9604K 7644K select 1 2:40 0.00% perl5.8.9 16 root -32 - 0K 8K WAIT 3 1:47 0.00% swi4: clock sio
|
|
|
Записан
|
|
|
|
glat
NoDeny
Пользователь
Карма: 0
Offline
Сообщений: 33
|
|
« Ответ #1 : 08 Ноября 2010, 22:00:20 » |
|
Вот тоже но при большей нагрузке, тут уже 69 сек, Получается уже новый срез а сервак еще старый не обсчитал Количество обработанных строк от коллекторов трафика 209459 Время обсчета направлений 69.3 сек Время добавления трафика к текущим значениям в базе данных 1.3 сек Время получения данных трафика для передачи клиентам 0.0 сек Записей в кеше адресов обсчета направлений 141538 netflow:10.55.100.2 Collector 8888 15 290 580 байт Время отключения абонентов превысивших лимиты 0.0 сек Записан детельный трафик на 100.0 % Время записи детализации трафика 0.8 сек
|
|
|
Записан
|
|
|
|
Elisium
NoDeny
Старожил
Карма: 19
Offline
Сообщений: 360
На форумах "спасибом" называется плюс к карме.
|
|
« Ответ #2 : 08 Ноября 2010, 22:45:21 » |
|
Поставь в период подсчета ноль (брать статистику по окончании сьема предыдущей) или время, заведомо большее, чем теперишнее максимальное время подсчета.
А, вообщето, не знаю, что это там за феном, но, имхо, чтото неверно настроено. Одно ядро под завязку забито, остальные гуляют.
У меня Корка 7500, рейд gmirror+gjournal, те же 200к потоков обсчитывают за 20 секунд, хотя там еще много чего ресурсоемкого крутится.
|
|
|
Записан
|
|
|
|
glat
NoDeny
Пользователь
Карма: 0
Offline
Сообщений: 33
|
|
« Ответ #3 : 08 Ноября 2010, 23:07:09 » |
|
поставил 2 минуты, увеличилось кол-во и время соответственно Количество обработанных строк от коллекторов трафика 279235 Время обсчета направлений 54.2 сек Время добавления трафика к текущим значениям в базе данных 1.2 сек Время получения данных трафика для передачи клиентам 0.0 сек Записей в кеше адресов обсчета направлений 501528 netflow:10.55.100.2 Collector 8888 20 384 228 байт Время отключения абонентов превысивших лимиты 0.0 сек Записан детельный трафик на 100.0 % Время записи детализации трафика 0.7 сек
|
|
|
Записан
|
|
|
|
glat
NoDeny
Пользователь
Карма: 0
Offline
Сообщений: 33
|
|
« Ответ #4 : 09 Ноября 2010, 17:21:48 » |
|
Может перейти на 64-битную систему?, как думаете, будет толк?
|
|
|
Записан
|
|
|
|
Elisium
NoDeny
Старожил
Карма: 19
Offline
Сообщений: 360
На форумах "спасибом" называется плюс к карме.
|
|
« Ответ #5 : 09 Ноября 2010, 18:07:25 » |
|
Эмм .. вопрос .. А приложения вообще собраны с поддержкой кучи процов ? Везде галка [THREAD] стоит ?
|
|
|
Записан
|
|
|
|
goletsa
NoDeny
Спец
Карма: 21
Offline
Сообщений: 973
|
|
« Ответ #6 : 09 Ноября 2010, 18:08:34 » |
|
Core2Duo 3GHz, 4GB RAM, FreeBSD7.2/i386: Статистика отображаемого среза трафика: 19:06 Количество обработанных строк от коллекторов трафика 224304 Время обсчета направлений 6.4 сек Время добавления трафика к текущим значениям в базе данных 1.5 сек Время получения данных трафика для передачи клиентам 0.1 сек Попробуйте сначала разобраться что у вас тормозит, у меня такой же почти срез трафика за 6 секунд считает.
|
|
|
Записан
|
|
|
|
smallcms
NoDeny
Старожил
Карма: 64
Offline
Сообщений: 279
|
|
« Ответ #7 : 09 Ноября 2010, 20:41:34 » |
|
Может перейти на 64-битную систему?, как думаете, будет толк?
У меня работает на трёхядерном феноме. Юзеров мало, но по другим высоконагруженным серверам вижу что ветка HAMMER на порядок интереснее работает с ядрами и памятью. perl-threaded не ставлю, бо испытываю от него анально-кирпичный зуд почему-то...
|
|
|
Записан
|
|
|
|
VitalVas
NoDeny
Спец
Карма: 60
Offline
Сообщений: 991
|
|
« Ответ #8 : 10 Ноября 2010, 00:23:54 » |
|
админю сеть
ядро: DELL POWEREDGE 6850 QUAD Проц 4х3.4Gz x64 (8 ядер) Озу 3х4гб (12гб) винти 4х146гб
9 сателлитов, обслуживают 7 районов Время обсчета направлений ~ 2-3 мин. Время записи детализации трафика ~ 2-4 сек. FreeBSD 7.2 stable x64 общий поток 3-4гбит, в пике доходит до 5-гбит
|
|
|
Записан
|
|
|
|
glat
NoDeny
Пользователь
Карма: 0
Offline
Сообщений: 33
|
|
« Ответ #9 : 10 Ноября 2010, 08:20:58 » |
|
админю сеть
ядро: DELL POWEREDGE 6850 QUAD Проц 4х3.4Gz x64 (8 ядер) Озу 3х4гб (12гб) винти 4х146гб
9 сателлитов, обслуживают 7 районов Время обсчета направлений ~ 2-3 мин. Время записи детализации трафика ~ 2-4 сек. FreeBSD 7.2 stable x64 общий поток 3-4гбит, в пике доходит до 5-гбит
А сколько - Количество обработанных строк от коллекторов трафика
|
|
|
Записан
|
|
|
|
kostya_zpr
Пользователь
Карма: 1
Offline
Сообщений: 11
|
|
« Ответ #10 : 10 Ноября 2010, 09:07:09 » |
|
Эмм .. вопрос .. А приложения вообще собраны с поддержкой кучи процов ? Везде галка [THREAD] стоит ?
Система, о которой пишет glat. perl был собран без тредирования. bash> ps -wwuH -p 19536 USER PID %CPU %MEM VSZ RSS TT STAT STARTED TIME COMMAND root 19536 66.4 8.2 280392 277900 ?? R< Mon10PM 623:58.14 perl nodeny.pl (perl5.8.9)
Наблюдаем периодический рост потребления ЦПУ (фактически 1 из 4) от ~0% до 60-70% (сейчас, утром, не в час пик), прочие параметры не меняются. Тред единственный. Тот же mysql на ps -H показывает кучу тредов. Имеет ли смысл пересобрать perl, если "use threads" не используется (иначе бы и не работало)? (железо все то же, Phenom 4-хядерный, FreeBSD 7.2 под i386)
|
|
|
Записан
|
|
|
|
VitalVas
NoDeny
Спец
Карма: 60
Offline
Сообщений: 991
|
|
« Ответ #11 : 10 Ноября 2010, 14:49:58 » |
|
А сколько - Количество обработанных строк от коллекторов трафика
~7 450 000 - 9 850 000
|
|
|
Записан
|
|
|
|
Efendy
|
|
« Ответ #12 : 11 Ноября 2010, 10:31:49 » |
|
Если у тебя обсчитывается UA-IX, то это нормальные числа - сужу по нашему Ф.
|
|
|
Записан
|
|
|
|
VitalVas
NoDeny
Спец
Карма: 60
Offline
Сообщений: 991
|
|
« Ответ #13 : 11 Ноября 2010, 17:21:28 » |
|
Если у тебя обсчитывается UA-IX, то это нормальные числа - сужу по нашему Ф.
ну да, все кроме локального локальный заганяеться в л3 свич з.ы. до Ф. расти и расти.....
|
|
|
Записан
|
|
|
|
Aivanzipper
NoDeny
Старожил
Карма: 62
Offline
Сообщений: 387
|
|
« Ответ #14 : 11 Ноября 2010, 17:36:35 » |
|
конспираторы
|
|
|
Записан
|
|
|
|
|