Биллинговая система Nodeny

Главная категория => Nodeny 50 => Тема начата: Sidius от 06 Ноября 2016, 16:49:14

Название: nodeny 50.32 + снятие статистики по трафику flowtools-ng
Отправлено: Sidius от 06 Ноября 2016, 16:49:14

В последнее время наблюдаем проблему того что nodeny.pl НЕ УСПЕВАЕТ обсчитывать трафик с коллекторов flowtools-ng нагружая ядро под 100% при этом юзера подключаются а доступ им не открывается долгое время. Наблюдается это в случае когда у клиента(тов) вирусок или еще что-то что шлет уйму потоков трафика. Ограничение по потокам трафика не спасает т.к. начинает срабатывать и у других пользователей (слишком долго обрабатывается срез). Пока решили проблему методом отключения коллекторов НО это не совсем удобно т.к. не видно сколько прокачано трафика по клиентам.

У кого было подобное? Как решали?

Название: Re: nodeny 50.32 + снятие статистики по трафику flowtools-ng
Отправлено: tom от 22 Ноября 2016, 04:34:00

З такою ж проблемою мучаюсь

Название: Re: nodeny 50.32 + снятие статистики по трафику flowtools-ng
Отправлено: tom от 22 Ноября 2016, 06:34:46

Можливо проблема в цьому "Оба ip не зарегистрированы в NoDeny."
Але поки не можу зрозуміти чому воно так пише.. В файлах статистики таких записів не знайшов ((

Название: Re: nodeny 50.32 + снятие статистики по трафику flowtools-ng
Отправлено: Sidius от 22 Ноября 2016, 21:53:46

Пишет что-то такое тоже. Ставлю сьем статистики по ipcad - все становится еще хуже. ipcad тормозючий вообще все начинает как-то вяло работать. Пока отключил статистику но это не решение надо как-то снимать статистику по трафику :(

Название: Re: nodeny 50.32 + снятие статистики по трафику flowtools-ng
Отправлено: Gosha от 23 Ноября 2016, 08:27:12

Это скорей всего связано с разделением трафика на мир и Украину. За последние месяцы, файлик с украинскими сетями вырос втрое. При этом perl nodeny.pl привязан к одному ядру, вернее перескакивает на ядро с наименьшей загрузкой.
Думаю , что узкое место в общении с mysql. Попробую у себя max_connections=500 , а то стоит 150.

Название: Re: nodeny 50.32 + снятие статистики по трафику flowtools-ng
Отправлено: NodenY45 от 24 Ноября 2016, 22:46:23

Как боритесь?

Название: Re: nodeny 50.32 + снятие статистики по трафику flowtools-ng
Отправлено: Gosha от 25 Ноября 2016, 15:59:40

Закинул старый файлик с сетями, и не обновляю. А по доброму, надо уходить от распределения мира и Украины.

Название: Re: nodeny 50.32 + снятие статистики по трафику flowtools-ng
Отправлено: NodenY45 от 26 Ноября 2016, 01:03:18

Цитата: Gosha от 25 Ноября 2016, 15:59:40

Закинул старый файлик с сетями, и не обновляю. А по доброму, надо уходить от распределения мира и Украины.

А старый на сколько? вот смотрю на сайте http://www.colocall.net/uaix/ показывает Total: 18514
у меня в файле который качется оттуда же - line 23451

Если можете, поделитесь своим файликом.

Название: Re: nodeny 50.32 + снятие статистики по трафику flowtools-ng
Отправлено: ser970 от 26 Ноября 2016, 11:13:38

Цитата: Sidius от 22 Ноября 2016, 21:53:46

Ставлю сьем статистики по ipcad - все становится еще хуже. ipcad тормозючий вообще все начинает как-то вяло работать.

хм. а с чего взяли что Ipcad может что то тормозить ?

на скрине видно ( это далеко не час пик)...

Название: Re: nodeny 50.32 + снятие статистики по трафику flowtools-ng
Отправлено: Sidius от 26 Ноября 2016, 14:40:56

ipcad жестко высаживает одно ядро или даже два ядра в ноль. Учитывая что трафик в полку на серваке то начинает все коматозить :(

Название: Re: nodeny 50.32 + снятие статистики по трафику flowtools-ng
Отправлено: ser970 от 26 Ноября 2016, 15:26:27

какой метот у ipcad используется ?

ну если трафик в полке, то тут что не ставть всеравно будет торомзить ....

потому как скрин.....
это с одного из сталитов....
и далеко не час пик

Название: Re: nodeny 50.32 + снятие статистики по трафику flowtools-ng
Отправлено: Sidius от 27 Ноября 2016, 13:23:23

ipfw tee xxx

ipcad при нагрузке грузит ядро или помоему два ядра в 100%
проверял неоднократно :(

Название: Re: nodeny 50.32 + снятие статистики по трафику flowtools-ng
Отправлено: ser970 от 27 Ноября 2016, 14:49:07

для эксперемента попробуйте снимать с интерфейса...
в часы пик покажите
top -SHPi
ipfw show
netstat -w1
SHOW FULL PROCESSLIST;

Название: Re: nodeny 50.32 + снятие статистики по трафику flowtools-ng
Отправлено: NodenY45 от 27 Ноября 2016, 19:44:27

Цитата: ser970 от 27 Ноября 2016, 14:49:07

для эксперемента попробуйте снимать с интерфейса...

Какие настройки ipcad вы используете для снятие статистики с интерфейса? все ли интерфейсы пишите, или только внешний?

Название: Re: nodeny 50.32 + снятие статистики по трафику flowtools-ng
Отправлено: ser970 от 27 Ноября 2016, 20:21:28

Цитата: NodenY45 от 27 Ноября 2016, 19:44:27

это зависит от топологии...
если на этой же машине и нат то смысла писать внешний интерфейс нету.
только те интерфейсы на которых есть траф с ip абонентов.

Название: Re: nodeny 50.32 + снятие статистики по трафику flowtools-ng
Отправлено: tom от 13 Декабря 2016, 02:39:58

Цитата: NodenY45 от 27 Ноября 2016, 19:44:27

Цитата: ser970 от 27 Ноября 2016, 14:49:07

для эксперемента попробуйте снимать с интерфейса...

Ось налаштування

Код:

capture-ports enable;
interface tee port 1;
interface tee port 2;
dumpfile = ipcad.dump;
chroot = /tmp;
memory_limit = 50m;
netflow export destination 10.ХХХ.ХХХ.ХХХ 8888;
netflow export version 5;       # NetFlow export format version {1|5}
netflow timeout active 30;      # Timeout when flow is active, in minutes
netflow timeout inactive 15;    # Flow inactivity timeout, in seconds
netflow engine-type 73;         # v5 engine_type; 73='I' for "IPCAD"
netflow engine-id 1;            # Useful to differentiate multiple ipcads
~

Название: Re: nodeny 50.32 + снятие статистики по трафику flowtools-ng
Отправлено: ser970 от 15 Декабря 2016, 19:12:01

to tom вы прочитали весь топик или только то что понрпвилось ?

я же писал
для эксперемента попробуйте снимать с интерфейса...
в часы пик покажите
top -SHPi
ipfw show
netstat -w1
SHOW FULL PROCESSLIST;