Биллинговая система Nodeny
01 Ноября 2024, 08:35:25 *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.
Вам не пришло письмо с кодом активации?

Войти
Новости: Прекращена поддержка версии Nodeny 49
 
   Начало   Помощь Поиск Войти Регистрация  
Страниц: [1] 2
  Печать  
Автор Тема: Производительность биллинговой машины.  (Прочитано 10818 раз)
glat
NoDeny
Пользователь
*

Карма: 0
Offline Offline

Сообщений: 33


Просмотр профиля Email
« : 08 Ноября 2010, 20:35:34 »

Назревает проблема с производительностью.
сервак феном 4 ядра, 4 гига память, фря7.2

вот что выдает в биллинге, т.е. считает 53 секунды. при этом подсчет происходит каждую минуту. Еще немножко и считать будет дольше чем перион подсчета. Это нормально для такого трафика? Как улучшить ситуацию? Может что то нужно оптимизировать. Абонов как бы работает не очень много от 400 до 600.

Код:
Количество обработанных строк
от коллекторов трафика 211089
Время обсчета направлений 53.0 сек
Время добавления трафика
к текущим значениям в базе данных 2.1 сек
Время получения данных трафика
для передачи клиентам 0.0 сек
Записей в кеше адресов обсчета направлений 1000001
netflow:10.55.100.2 Collector 8888
15 409 570 байт
Время отключения абонентов превысивших лимиты 0.0 сек
Записан детельный трафик на 100.0 %
Время записи детализации трафика 0.8 сек

Код:
148 processes: 6 running, 126 sleeping, 16 waiting
CPU 0:  1.8% user,  0.0% nice,  0.0% system,  0.0% interrupt, 98.2% idle
CPU 1:  4.7% user,  0.0% nice,  1.2% system,  0.0% interrupt, 94.1% idle
CPU 2:  8.9% user,  0.0% nice,  2.4% system,  0.0% interrupt, 88.8% idle
CPU 3: 98.8% user,  0.0% nice,  0.0% system,  0.0% interrupt,  1.2% idle
Mem: 405M Active, 799M Inact, 130M Wired, 452K Cache, 112M Buf, 1921M Free
Swap: 2048M Total, 2048M Free

  PID USERNAME  PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
   14 root      171 ki31     0K     8K CPU0   0 324:37 93.95% idle: cpu0
   13 root      171 ki31     0K     8K CPU1   1 339:22 83.35% idle: cpu1
   11 root      171 ki31     0K     8K RUN    3 366:26 77.44% idle: cpu3
   12 root      171 ki31     0K     8K RUN    2 362:50 57.18% idle: cpu2
  802 root       89  -15   245M   241M CPU3   3 237:40 39.60% perl5.8.9
  789 mysql       4    0   515M   143M sbwait 3   0:01  0.73% mysqld
  789 mysql      45    0   515M   143M ucond  1   0:02  0.63% mysqld
  789 mysql      45    0   515M   143M ucond  2   0:03  0.54% mysqld
  817 root       44    0  3484K  1904K select 2   6:43  0.39% flow-capture
  789 mysql       4    0   515M   143M sbwait 1   0:16  0.24% mysqld
  789 mysql      44    0   515M   143M ucond  0   0:03  0.24% mysqld
  789 mysql       4    0   515M   143M sbwait 2   0:11  0.20% mysqld
  789 mysql      44    0   515M   143M ucond  2   0:03  0.15% mysqld
  789 mysql      44    0   515M   143M ucond  1   0:03  0.15% mysqld
  789 mysql      44    0   515M   143M ucond  0   0:01  0.10% mysqld
   15 root      -44    -     0K     8K WAIT   0  11:04  0.00% swi1: net
  920 root       59  -15  9604K  7644K select 1   2:40  0.00% perl5.8.9
   16 root      -32    -     0K     8K WAIT   3   1:47  0.00% swi4: clock sio
Записан
glat
NoDeny
Пользователь
*

Карма: 0
Offline Offline

Сообщений: 33


Просмотр профиля Email
« Ответ #1 : 08 Ноября 2010, 22:00:20 »

Вот тоже но при большей нагрузке, тут уже 69 сек, Получается уже новый срез а сервак еще старый не обсчитал

Код:
Количество обработанных строк
от коллекторов трафика 209459
Время обсчета направлений 69.3 сек
Время добавления трафика
к текущим значениям в базе данных 1.3 сек
Время получения данных трафика
для передачи клиентам 0.0 сек
Записей в кеше адресов обсчета направлений 141538
netflow:10.55.100.2 Collector 8888
15 290 580 байт
Время отключения абонентов превысивших лимиты 0.0 сек
Записан детельный трафик на 100.0 %
Время записи детализации трафика 0.8 сек
Записан
Elisium
NoDeny
Старожил
*

Карма: 19
Offline Offline

Сообщений: 360


На форумах "спасибом" называется плюс к карме.


Просмотр профиля
« Ответ #2 : 08 Ноября 2010, 22:45:21 »

Поставь в период подсчета ноль (брать статистику по окончании сьема предыдущей) или время, заведомо большее, чем теперишнее максимальное время подсчета.

А, вообщето, не знаю, что это там за феном, но, имхо, чтото неверно настроено.
Одно ядро под завязку забито, остальные гуляют.

У меня Корка 7500, рейд gmirror+gjournal, те же 200к потоков обсчитывают за 20 секунд, хотя там еще много чего ресурсоемкого крутится.
Записан
glat
NoDeny
Пользователь
*

Карма: 0
Offline Offline

Сообщений: 33


Просмотр профиля Email
« Ответ #3 : 08 Ноября 2010, 23:07:09 »

поставил 2 минуты, увеличилось кол-во и время соответственно

Код:
Количество обработанных строк
от коллекторов трафика 279235
Время обсчета направлений 54.2 сек
Время добавления трафика
к текущим значениям в базе данных 1.2 сек
Время получения данных трафика
для передачи клиентам 0.0 сек
Записей в кеше адресов обсчета направлений 501528
netflow:10.55.100.2 Collector 8888
20 384 228 байт
Время отключения абонентов превысивших лимиты 0.0 сек
Записан детельный трафик на 100.0 %
Время записи детализации трафика 0.7 сек
Записан
glat
NoDeny
Пользователь
*

Карма: 0
Offline Offline

Сообщений: 33


Просмотр профиля Email
« Ответ #4 : 09 Ноября 2010, 17:21:48 »

Может перейти на 64-битную систему?, как думаете, будет толк?
Записан
Elisium
NoDeny
Старожил
*

Карма: 19
Offline Offline

Сообщений: 360


На форумах "спасибом" называется плюс к карме.


Просмотр профиля
« Ответ #5 : 09 Ноября 2010, 18:07:25 »

Эмм .. вопрос ..
А приложения вообще собраны с поддержкой кучи процов ?
Везде галка [THREAD] стоит ?
Записан
goletsa
NoDeny
Спец
*

Карма: 21
Offline Offline

Сообщений: 973


Просмотр профиля
« Ответ #6 : 09 Ноября 2010, 18:08:34 »

Core2Duo 3GHz, 4GB RAM, FreeBSD7.2/i386:
Код:
Статистика отображаемого среза трафика: 19:06
Количество обработанных строк
от коллекторов трафика 224304
Время обсчета направлений 6.4 сек
Время добавления трафика
к текущим значениям в базе данных 1.5 сек
Время получения данных трафика
для передачи клиентам 0.1 сек
Попробуйте сначала разобраться что у вас тормозит, у меня такой же почти срез трафика за 6 секунд считает.
Записан
smallcms
NoDeny
Старожил
*

Карма: 64
Offline Offline

Сообщений: 279



Просмотр профиля WWW
« Ответ #7 : 09 Ноября 2010, 20:41:34 »

Может перейти на 64-битную систему?, как думаете, будет толк?
У меня работает на трёхядерном феноме. Юзеров мало, но по другим высоконагруженным серверам вижу что ветка HAMMER на порядок интереснее работает с ядрами и памятью. perl-threaded не ставлю, бо испытываю от него анально-кирпичный зуд почему-то... В замешательстве
Записан

VitalVas
NoDeny
Спец
*

Карма: 60
Offline Offline

Сообщений: 991



Просмотр профиля WWW
« Ответ #8 : 10 Ноября 2010, 00:23:54 »

админю сеть

ядро:
DELL POWEREDGE 6850 QUAD
Проц 4х3.4Gz x64 (8 ядер)
Озу 3х4гб (12гб)
винти 4х146гб

9 сателлитов, обслуживают 7 районов
Время обсчета направлений ~ 2-3 мин.
Время записи детализации трафика ~ 2-4 сек.
FreeBSD 7.2 stable x64
общий поток 3-4гбит, в пике доходит до 5-гбит

Записан
glat
NoDeny
Пользователь
*

Карма: 0
Offline Offline

Сообщений: 33


Просмотр профиля Email
« Ответ #9 : 10 Ноября 2010, 08:20:58 »

админю сеть

ядро:
DELL POWEREDGE 6850 QUAD
Проц 4х3.4Gz x64 (8 ядер)
Озу 3х4гб (12гб)
винти 4х146гб

9 сателлитов, обслуживают 7 районов
Время обсчета направлений ~ 2-3 мин.
Время записи детализации трафика ~ 2-4 сек.
FreeBSD 7.2 stable x64
общий поток 3-4гбит, в пике доходит до 5-гбит

А сколько - Количество обработанных строк
от коллекторов трафика   
Записан
kostya_zpr
Пользователь
**

Карма: 1
Offline Offline

Сообщений: 11


Просмотр профиля
« Ответ #10 : 10 Ноября 2010, 09:07:09 »

Эмм .. вопрос ..
А приложения вообще собраны с поддержкой кучи процов ?
Везде галка [THREAD] стоит ?
Система, о которой пишет glat.
perl был собран без тредирования.

Код:
bash> ps -wwuH -p 19536
USER   PID %CPU %MEM     VSZ     RSS  TT  STAT STARTED        TIME COMMAND                                                                                           
root 19536   66.4     8.2 280392 277900  ??   R<    Mon10PM 623:58.14 perl nodeny.pl (perl5.8.9)

Наблюдаем периодический рост потребления ЦПУ (фактически 1 из 4) от ~0% до 60-70% (сейчас, утром, не в час пик), прочие параметры не меняются.
Тред единственный. Тот же mysql на ps -H показывает кучу тредов.
Имеет ли смысл пересобрать perl, если "use threads" не используется (иначе бы и не работало)?
(железо все то же, Phenom 4-хядерный, FreeBSD 7.2 под i386)
Записан
VitalVas
NoDeny
Спец
*

Карма: 60
Offline Offline

Сообщений: 991



Просмотр профиля WWW
« Ответ #11 : 10 Ноября 2010, 14:49:58 »

А сколько - Количество обработанных строк
от коллекторов трафика   
~7 450 000 - 9 850 000
Записан
Efendy
Администратор
Спец
*****

Карма: 138
Offline Offline

Сообщений: 4789



Просмотр профиля
« Ответ #12 : 11 Ноября 2010, 10:31:49 »

Если у тебя обсчитывается UA-IX, то это нормальные числа - сужу по нашему Ф.
Записан
VitalVas
NoDeny
Спец
*

Карма: 60
Offline Offline

Сообщений: 991



Просмотр профиля WWW
« Ответ #13 : 11 Ноября 2010, 17:21:28 »

Если у тебя обсчитывается UA-IX, то это нормальные числа - сужу по нашему Ф.
ну да, все кроме локального
локальный заганяеться в л3 свич
з.ы. до Ф. расти и расти.....
Записан
Aivanzipper
NoDeny
Старожил
*

Карма: 62
Offline Offline

Сообщений: 387


206967443
Просмотр профиля
« Ответ #14 : 11 Ноября 2010, 17:36:35 »

конспираторы  Смеющийся
Записан
Страниц: [1] 2
  Печать  
 
Перейти в:  

Powered by MySQL Powered by PHP Powered by SMF 1.1.20 | SMF © 2006-2009, Simple Machines Valid XHTML 1.0! Valid CSS!