Производительность биллинговой машины.

[glat]

Назревает проблема с производительностью.
сервак феном 4 ядра, 4 гига память, фря7.2

вот что выдает в биллинге, т.е. считает 53 секунды. при этом подсчет происходит каждую минуту. Еще немножко и считать будет дольше чем перион подсчета. Это нормально для такого трафика? Как улучшить ситуацию? Может что то нужно оптимизировать. Абонов как бы работает не очень много от 400 до 600.

Код:

Количество обработанных строк
от коллекторов трафика	211089	 
Время обсчета направлений	53.0	сек
Время добавления трафика
к текущим значениям в базе данных	2.1	сек
Время получения данных трафика
для передачи клиентам	0.0	сек
Записей в кеше адресов обсчета направлений	1000001	 
netflow:10.55.100.2 Collector	8888
	15 409 570	байт
Время отключения абонентов превысивших лимиты	0.0	сек
Записан детельный трафик на 	100.0	%
Время записи детализации трафика	0.8	сек

Код:

148 processes: 6 running, 126 sleeping, 16 waiting
CPU 0:  1.8% user,  0.0% nice,  0.0% system,  0.0% interrupt, 98.2% idle
CPU 1:  4.7% user,  0.0% nice,  1.2% system,  0.0% interrupt, 94.1% idle
CPU 2:  8.9% user,  0.0% nice,  2.4% system,  0.0% interrupt, 88.8% idle
CPU 3: 98.8% user,  0.0% nice,  0.0% system,  0.0% interrupt,  1.2% idle
Mem: 405M Active, 799M Inact, 130M Wired, 452K Cache, 112M Buf, 1921M Free
Swap: 2048M Total, 2048M Free

  PID USERNAME  PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
   14 root      171 ki31     0K     8K CPU0   0 324:37 93.95% idle: cpu0
   13 root      171 ki31     0K     8K CPU1   1 339:22 83.35% idle: cpu1
   11 root      171 ki31     0K     8K RUN    3 366:26 77.44% idle: cpu3
   12 root      171 ki31     0K     8K RUN    2 362:50 57.18% idle: cpu2
  802 root       89  -15   245M   241M CPU3   3 237:40 39.60% perl5.8.9
  789 mysql       4    0   515M   143M sbwait 3   0:01  0.73% mysqld
  789 mysql      45    0   515M   143M ucond  1   0:02  0.63% mysqld
  789 mysql      45    0   515M   143M ucond  2   0:03  0.54% mysqld
  817 root       44    0  3484K  1904K select 2   6:43  0.39% flow-capture
  789 mysql       4    0   515M   143M sbwait 1   0:16  0.24% mysqld
  789 mysql      44    0   515M   143M ucond  0   0:03  0.24% mysqld
  789 mysql       4    0   515M   143M sbwait 2   0:11  0.20% mysqld
  789 mysql      44    0   515M   143M ucond  2   0:03  0.15% mysqld
  789 mysql      44    0   515M   143M ucond  1   0:03  0.15% mysqld
  789 mysql      44    0   515M   143M ucond  0   0:01  0.10% mysqld
   15 root      -44    -     0K     8K WAIT   0  11:04  0.00% swi1: net
  920 root       59  -15  9604K  7644K select 1   2:40  0.00% perl5.8.9
   16 root      -32    -     0K     8K WAIT   3   1:47  0.00% swi4: clock sio

[glat]

Вот тоже но при большей нагрузке, тут уже 69 сек, Получается уже новый срез а сервак еще старый не обсчитал

Код:

Количество обработанных строк
от коллекторов трафика	209459	 
Время обсчета направлений	69.3	сек
Время добавления трафика
к текущим значениям в базе данных	1.3	сек
Время получения данных трафика
для передачи клиентам	0.0	сек
Записей в кеше адресов обсчета направлений	141538	 
netflow:10.55.100.2 Collector	8888
	15 290 580	байт
Время отключения абонентов превысивших лимиты	0.0	сек
Записан детельный трафик на 	100.0	%
Время записи детализации трафика	0.8	сек

[Elisium]

Поставь в период подсчета ноль (брать статистику по окончании сьема предыдущей) или время, заведомо большее, чем теперишнее максимальное время подсчета.

А, вообщето, не знаю, что это там за феном, но, имхо, чтото неверно настроено.
Одно ядро под завязку забито, остальные гуляют.

У меня Корка 7500, рейд gmirror+gjournal, те же 200к потоков обсчитывают за 20 секунд, хотя там еще много чего ресурсоемкого крутится.

[glat]

поставил 2 минуты, увеличилось кол-во и время соответственно

Код:

Количество обработанных строк
от коллекторов трафика	279235	 
Время обсчета направлений	54.2	сек
Время добавления трафика
к текущим значениям в базе данных	1.2	сек
Время получения данных трафика
для передачи клиентам	0.0	сек
Записей в кеше адресов обсчета направлений	501528	 
netflow:10.55.100.2 Collector	8888
	20 384 228	байт
Время отключения абонентов превысивших лимиты	0.0	сек
Записан детельный трафик на 	100.0	%
Время записи детализации трафика	0.7	сек

[glat]

Может перейти на 64-битную систему?, как думаете, будет толк?

[Elisium]

Эмм .. вопрос ..
А приложения вообще собраны с поддержкой кучи процов ?
Везде галка [THREAD] стоит ?

[goletsa]

Core2Duo 3GHz, 4GB RAM, FreeBSD7.2/i386:

Код:

Статистика отображаемого среза трафика: 19:06
Количество обработанных строк
от коллекторов трафика	224304	 
Время обсчета направлений	6.4	сек
Время добавления трафика
к текущим значениям в базе данных	1.5	сек
Время получения данных трафика
для передачи клиентам	0.1	сек

Попробуйте сначала разобраться что у вас тормозит, у меня такой же почти срез трафика за 6 секунд считает.

[smallcms]

Может перейти на 64-битную систему?, как думаете, будет толк?

У меня работает на трёхядерном феноме. Юзеров мало, но по другим высоконагруженным серверам вижу что ветка HAMMER на порядок интереснее работает с ядрами и памятью. perl-threaded не ставлю, бо испытываю от него анально-кирпичный зуд почему-то...

[VitalVas]

админю сеть

ядро:
DELL POWEREDGE 6850 QUAD
Проц 4х3.4Gz x64 (8 ядер)
Озу 3х4гб (12гб)
винти 4х146гб

9 сателлитов, обслуживают 7 районов
Время обсчета направлений ~ 2-3 мин.
Время записи детализации трафика ~ 2-4 сек.
FreeBSD 7.2 stable x64
общий поток 3-4гбит, в пике доходит до 5-гбит

[glat]

админю сеть

ядро:
DELL POWEREDGE 6850 QUAD
Проц 4х3.4Gz x64 (8 ядер)
Озу 3х4гб (12гб)
винти 4х146гб

9 сателлитов, обслуживают 7 районов
Время обсчета направлений ~ 2-3 мин.
Время записи детализации трафика ~ 2-4 сек.
FreeBSD 7.2 stable x64
общий поток 3-4гбит, в пике доходит до 5-гбит

А сколько - Количество обработанных строк
от коллекторов трафика   

[kostya_zpr]

Эмм .. вопрос ..
А приложения вообще собраны с поддержкой кучи процов ?
Везде галка [THREAD] стоит ?

Система, о которой пишет glat.
perl был собран без тредирования.

Код:

bash> ps -wwuH -p 19536
USER   PID %CPU %MEM     VSZ     RSS  TT  STAT STARTED        TIME COMMAND                                                                                           
root 19536   66.4     8.2 280392 277900  ??   R<    Mon10PM 623:58.14 perl nodeny.pl (perl5.8.9)

Наблюдаем периодический рост потребления ЦПУ (фактически 1 из 4) от ~0% до 60-70% (сейчас, утром, не в час пик), прочие параметры не меняются.
Тред единственный. Тот же mysql на ps -H показывает кучу тредов.
Имеет ли смысл пересобрать perl, если "use threads" не используется (иначе бы и не работало)?
(железо все то же, Phenom 4-хядерный, FreeBSD 7.2 под i386)

[VitalVas]

А сколько - Количество обработанных строк
от коллекторов трафика   

~7 450 000 - 9 850 000

[Efendy]

Если у тебя обсчитывается UA-IX, то это нормальные числа - сужу по нашему Ф.

[VitalVas]

Если у тебя обсчитывается UA-IX, то это нормальные числа - сужу по нашему Ф.

ну да, все кроме локального
локальный заганяеться в л3 свич
з.ы. до Ф. расти и расти.....

[Aivanzipper]

конспираторы