collectors

[asserter]

Здравствуйте форумчане. Есть проблема со сбором подробной статистики, ОЗУ постоянно утекает.
График утечки прилагаю.

Коллектор у нас работает по netflow, сенсор на netgraph и порт 6343
mkpeer ipfw: netflow 100 iface0
name ipfw:100 netflow
msg netflow: setdlt { iface = 0 dlt = 12 }
msg netflow: settimeouts {inactive=5 active=60}
mkpeer netflow: ksocket export inet/dgram/udp
msg netflow:export connect inet/127.0.0.1:6343

коллектор:
/usr/local/bin/flow-capture -R /var/db/flows/netflow_6343.pl -p /var/run/flow-capture/flow-capture.pid -w /var/db/flows -n1 -N0 0/127.0.0.1/6343

правила в ipfw добавил:

ipfw add 420 ngtee 100 ip from any to any
ipfw add 450 ngtee 100 ip from any to any
ipfw add 510 ngtee 100 ip from any to any

И оно работает, показывает вроде правильно, но только утечка..

Подробный сбор включён, когда выключаю его то память всё равно утекает, но медленнее.

Ревизия 422.

вывод perl nokernel.pl -L:
MODULE                  AUTORUN? 
collectors                 -       
authtraf                   YES       
tmppays                  YES       
authserver               -       
system_clean           YES       
cap                         YES       
system_check          YES       
make_config            -       
auth                        YES       
notifications             -       
snmp_alarm             -       
services                   YES       
dhcp                        YES       
websession              YES       
pingserver                -       
balance                    YES       
snmp_trap               -
Тут выключен collectors потому что я его отдельно запускал

В dhcp параметр ping_check=0, это к тому что на форуме писали что глючит модуль Net::ARP.
Так же выключил его и в authtraf.
FreeBSD 10.3
Perl 5.20

Кто-то сталкивался? Подскажите решение пожалста, уже давно бьюсь, каждый раз перезагружать сервер не выход, а нам нужен этот модуль, от него работает и authtraf который тоже нужен

[Tooreagen]

nokernel.pl не вылетает когда память закончилась?

[asserter]

nokernel.pl не вылетает когда память закончилась?

Вылетает только authtraf с текстом:

Код:

retrieval of routing table: Cannot allocate memory

но я думал на модуль Net::Arp.
Пробовал выключать authtraf, но память всё равно уходит

[asserter]

Если нужна ещё инфа, то менял FreeBSD 10.3 и 9.3, perl 5.18, 5.20.
Подсказали что утечка может быть в flow-tools, что на FreeBSD x64 надо пользовать flow-tools-ng, поставил но ничего не изменилось.
Утечка начинается как только я запускаю collectors.
Отключал зависимый модуль ядра authtraf.
Даже пытался по комментариям в коде что-то написать на python, создаю Z-таблицу, но так как в perl не могу разобраться то не понимаю как работают X таблицы, как они создаются. И ещё не понял как формируется поле class.
Менял методы сбора статистики ipcad и netflow.
Начинаю думать что проблема в коде collectors.pm.
Скажите у кого какие мысли будут

[Efendy]

Отпишитесь у кого норм работает коллектор и сколько пользователей/потоков регистрирует. Чтоб я понял в нем ли дело или только у человека

[poxy.]

У меня netflow - все ок

[Pa4ka]

Отпишитесь у кого норм работает коллектор и сколько пользователей/потоков регистрирует. Чтоб я понял в нем ли дело или только у человека

netflow 1400-1700 абонентов онлайна в пик.
Трафика сильная нарезка 5-10-20мбит/сек - 600-900 Мбит/сек в пики.
Прием с двух серверов, один все в одном и + с accel-ppp.
Детализация полная, утечек по колектору нет

[asserter]

Спасибо что сказали, значит я где-то туплю, буду искать.
Подскажите, а какие у вас ревизии? Или код сборщика давно не менялся?

[Efendy]

модуль сбора трафика не менялся очень давно: 11 февраля 2015

[Pa4ka]

Спасибо что сказали, значит я где-то туплю, буду искать.
Подскажите, а какие у вас ревизии? Или код сборщика давно не менялся?

постоянно обновляю биллинг, ревизия 431

[asserter]

Как вы думаете, а тот факт что FreeBSD эта стоит гостевой осью под VMWare может на что-то повлиять?
И ещё, когда-то слышал что какой-то модуль с каким-то конфликтовал, это правда? Может из тех что у меня установлены из списка выше, не важно включенные или нет, какие-то могут конфликтовать? Не важно включенные или нет потому что запускаю некоторые отдельно.

Код:

uname -a
FreeBSD gateway 10.3-RELEASE FreeBSD 10.3-RELEASE #0 r297264: ...

[Pa4ka]

Как вы думаете, а тот факт что FreeBSD эта стоит гостевой осью под VMWare может на что-то повлиять?
И ещё, когда-то слышал что какой-то модуль с каким-то конфликтовал, это правда? Может из тех что у меня установлены из списка выше, не важно включенные или нет, какие-то могут конфликтовать? Не важно включенные или нет потому что запускаю некоторые отдельно.

Код:

uname -a
FreeBSD gateway 10.3-RELEASE FreeBSD 10.3-RELEASE #0 r297264: ...

повлиять может но не думаю что так.
ipfw show 420 и 450 и 510 покажите
и наверно уберите 420-е правило

[asserter]

повлиять может но не думаю что так.
ipfw show 420 и 450 и 510 покажите
и наверно уберите 420-е правило

420'е удалил. Но как у Семёна Слепакова "А жопа растёт".   В моём случае память.

00450 1979463685 2400469825167 ngtee 100 ip from any to any
00510 1544086974  255250471574 ngtee 100 ip from any to any

Знаете, я скопипастил сенсор из этого сообщения:
<тут хотел вставить ссылку на сообщение из форума, но мне запрещено размещать ссылки> topic=2422.msg29326#msg29326
И точно не уверен правильный-ли он, кто-то разбирается в netgraph?
И ещё mysql у нас находится на той же машине что и биллинг и коллектор. Сейчас переношу базу на другую машину и понаблюдаю, мало-ли, может в базе проблема..

Кстати, когда я устанавливал flow-tools-ng из портов FreeBSD, то увидел что порт помечен испорченным (BROKEN: Unfetchable (google code has gone away)):
<а тут ссылка на freshports org на сообщение о порте flow-tools-ng> freshports org net-mgmt/flow-tools-ng
Удалил из Makefile строку BROKEN=... и установил
При этом, показалось, что память растёт ещё быстрее.. Но это не точно, это было во время пиковой нагрузки и возможно график пополз вверх быстрее из-за этого.

[Pa4ka]

И я одтудова взял, и flow-tools без ng ставил

[asserter]

Народ, проблема решилась , после того как перенёс базу на другую машину память перестала течь. Похоже проблема была в MySQL.

Код:

mysql -V
mysql  Ver 14.14 Distrib 5.6.32, for FreeBSD10.1 (amd64) using  EditLine wrapper

Код:

uname -a
FreeBSD gateway 10.3-RELEASE-p11 FreeBSD 10.3-RELEASE-p11 #0: Mon Oct 24 18:49:24 UTC 2016     root@amd64-builder.daemonology.net:/usr/obj/usr/src/sys/GENERIC  amd64