Название: collectors Отправлено: asserter от 07 Ноября 2016, 12:10:12 Здравствуйте форумчане. Есть проблема со сбором подробной статистики, ОЗУ постоянно утекает.
График утечки прилагаю. Коллектор у нас работает по netflow, сенсор на netgraph и порт 6343 mkpeer ipfw: netflow 100 iface0 name ipfw:100 netflow msg netflow: setdlt { iface = 0 dlt = 12 } msg netflow: settimeouts {inactive=5 active=60} mkpeer netflow: ksocket export inet/dgram/udp msg netflow:export connect inet/127.0.0.1:6343 коллектор: /usr/local/bin/flow-capture -R /var/db/flows/netflow_6343.pl -p /var/run/flow-capture/flow-capture.pid -w /var/db/flows -n1 -N0 0/127.0.0.1/6343 правила в ipfw добавил: ipfw add 420 ngtee 100 ip from any to any ipfw add 450 ngtee 100 ip from any to any ipfw add 510 ngtee 100 ip from any to any И оно работает, показывает вроде правильно, но только утечка.. Подробный сбор включён, когда выключаю его то память всё равно утекает, но медленнее. Ревизия 422. вывод perl nokernel.pl -L: MODULE AUTORUN? collectors - authtraf YES tmppays YES authserver - system_clean YES cap YES system_check YES make_config - auth YES notifications - snmp_alarm - services YES dhcp YES websession YES pingserver - balance YES snmp_trap - Тут выключен collectors потому что я его отдельно запускал В dhcp параметр ping_check=0, это к тому что на форуме писали что глючит модуль Net::ARP. Так же выключил его и в authtraf. FreeBSD 10.3 Perl 5.20 Кто-то сталкивался? Подскажите решение пожалста, уже давно бьюсь, каждый раз перезагружать сервер не выход, а нам нужен этот модуль, от него работает и authtraf который тоже нужен Название: Re: collectors Отправлено: Tooreagen от 08 Ноября 2016, 14:07:08 nokernel.pl не вылетает когда память закончилась?
Название: Re: collectors Отправлено: asserter от 08 Ноября 2016, 16:38:10 nokernel.pl не вылетает когда память закончилась? Вылетает только authtraf с текстом: Код: retrieval of routing table: Cannot allocate memory Пробовал выключать authtraf, но память всё равно уходит Название: Re: collectors Отправлено: asserter от 14 Ноября 2016, 22:04:58 Если нужна ещё инфа, то менял FreeBSD 10.3 и 9.3, perl 5.18, 5.20.
Подсказали что утечка может быть в flow-tools, что на FreeBSD x64 надо пользовать flow-tools-ng, поставил но ничего не изменилось. Утечка начинается как только я запускаю collectors. Отключал зависимый модуль ядра authtraf. Даже пытался по комментариям в коде что-то написать на python, создаю Z-таблицу, но так как в perl не могу разобраться то не понимаю как работают X таблицы, как они создаются. И ещё не понял как формируется поле class. Менял методы сбора статистики ipcad и netflow. Начинаю думать что проблема в коде collectors.pm. Скажите у кого какие мысли будут Название: Re: collectors Отправлено: Efendy от 14 Ноября 2016, 22:42:51 Отпишитесь у кого норм работает коллектор и сколько пользователей/потоков регистрирует. Чтоб я понял в нем ли дело или только у человека
Название: Re: collectors Отправлено: poxy. от 15 Ноября 2016, 10:26:56 У меня netflow - все ок
Название: Re: collectors Отправлено: Pa4ka от 15 Ноября 2016, 11:44:23 Отпишитесь у кого норм работает коллектор и сколько пользователей/потоков регистрирует. Чтоб я понял в нем ли дело или только у человека netflow 1400-1700 абонентов онлайна в пик.Трафика сильная нарезка 5-10-20мбит/сек - 600-900 Мбит/сек в пики. Прием с двух серверов, один все в одном и + с accel-ppp. Детализация полная, утечек по колектору нет Название: Re: collectors Отправлено: asserter от 15 Ноября 2016, 17:26:38 Спасибо что сказали, значит я где-то туплю, буду искать.
Подскажите, а какие у вас ревизии? Или код сборщика давно не менялся? Название: Re: collectors Отправлено: Efendy от 15 Ноября 2016, 18:33:34 модуль сбора трафика не менялся очень давно: 11 февраля 2015
Название: Re: collectors Отправлено: Pa4ka от 15 Ноября 2016, 19:55:29 Спасибо что сказали, значит я где-то туплю, буду искать. постоянно обновляю биллинг, ревизия 431Подскажите, а какие у вас ревизии? Или код сборщика давно не менялся? Название: Re: collectors Отправлено: asserter от 15 Ноября 2016, 20:37:40 Как вы думаете, а тот факт что FreeBSD эта стоит гостевой осью под VMWare может на что-то повлиять?
И ещё, когда-то слышал что какой-то модуль с каким-то конфликтовал, это правда? Может из тех что у меня установлены из списка выше, не важно включенные или нет, какие-то могут конфликтовать? Не важно включенные или нет потому что запускаю некоторые отдельно. Код: uname -a Название: Re: collectors Отправлено: Pa4ka от 15 Ноября 2016, 22:12:10 Как вы думаете, а тот факт что FreeBSD эта стоит гостевой осью под VMWare может на что-то повлиять? повлиять может но не думаю что так.И ещё, когда-то слышал что какой-то модуль с каким-то конфликтовал, это правда? Может из тех что у меня установлены из списка выше, не важно включенные или нет, какие-то могут конфликтовать? Не важно включенные или нет потому что запускаю некоторые отдельно. Код: uname -a ipfw show 420 и 450 и 510 покажите и наверно уберите 420-е правило Название: Re: collectors Отправлено: asserter от 17 Ноября 2016, 11:02:21 Цитировать повлиять может но не думаю что так. ipfw show 420 и 450 и 510 покажите и наверно уберите 420-е правило 420'е удалил. Но как у Семёна Слепакова "А жопа растёт". :D В моём случае память. 00450 1979463685 2400469825167 ngtee 100 ip from any to any 00510 1544086974 255250471574 ngtee 100 ip from any to any Знаете, я скопипастил сенсор из этого сообщения: <тут хотел вставить ссылку на сообщение из форума, но мне запрещено размещать ссылки> topic=2422.msg29326#msg29326 И точно не уверен правильный-ли он, кто-то разбирается в netgraph? И ещё mysql у нас находится на той же машине что и биллинг и коллектор. Сейчас переношу базу на другую машину и понаблюдаю, мало-ли, может в базе проблема.. Кстати, когда я устанавливал flow-tools-ng из портов FreeBSD, то увидел что порт помечен испорченным (BROKEN: Unfetchable (google code has gone away)): <а тут ссылка на freshports org на сообщение о порте flow-tools-ng> freshports org net-mgmt/flow-tools-ng Удалил из Makefile строку BROKEN=... и установил При этом, показалось, что память растёт ещё быстрее.. Но это не точно, это было во время пиковой нагрузки и возможно график пополз вверх быстрее из-за этого. Название: Re: collectors Отправлено: Pa4ka от 17 Ноября 2016, 16:47:25 И я одтудова взял, и flow-tools без ng ставил
Название: Re: collectors Отправлено: asserter от 18 Ноября 2016, 13:04:10 Народ, проблема решилась ;D, после того как перенёс базу на другую машину память перестала течь. Похоже проблема была в MySQL.
Код: mysql -V Код: uname -a Название: Re: collectors Отправлено: vddav от 19 Ноября 2016, 11:20:51 скорее в его скорости mysql, ибо на него так нефигово наваливает трафика, особенно если сбор с детализацией.
|