app.nodeny-plus.com.ua/cgi-bin/stat.pl?a=u%5Fsrv%5Fselect
тут внизу подключить за 2000грн, потом скачать
[/quote]
Спасибо, увидел

Подскажите пжл как можно получить модуль, а то я не нашёл..

Народ, проблема решилась , после того как перенёс базу на другую машину память перестала течь. Похоже проблема была в MySQL.

Код:

mysql -V
mysql  Ver 14.14 Distrib 5.6.32, for FreeBSD10.1 (amd64) using  EditLine wrapper

Код:

uname -a
FreeBSD gateway 10.3-RELEASE-p11 FreeBSD 10.3-RELEASE-p11 #0: Mon Oct 24 18:49:24 UTC 2016     root@amd64-builder.daemonology.net:/usr/obj/usr/src/sys/GENERIC  amd64

повлиять может но не думаю что так.
ipfw show 420 и 450 и 510 покажите
и наверно уберите 420-е правило

420'е удалил. Но как у Семёна Слепакова "А жопа растёт".   В моём случае память.

00450 1979463685 2400469825167 ngtee 100 ip from any to any
00510 1544086974  255250471574 ngtee 100 ip from any to any

Знаете, я скопипастил сенсор из этого сообщения:
<тут хотел вставить ссылку на сообщение из форума, но мне запрещено размещать ссылки> topic=2422.msg29326#msg29326
И точно не уверен правильный-ли он, кто-то разбирается в netgraph?
И ещё mysql у нас находится на той же машине что и биллинг и коллектор. Сейчас переношу базу на другую машину и понаблюдаю, мало-ли, может в базе проблема..

Кстати, когда я устанавливал flow-tools-ng из портов FreeBSD, то увидел что порт помечен испорченным (BROKEN: Unfetchable (google code has gone away)):
<а тут ссылка на freshports org на сообщение о порте flow-tools-ng> freshports org net-mgmt/flow-tools-ng
Удалил из Makefile строку BROKEN=... и установил
При этом, показалось, что память растёт ещё быстрее.. Но это не точно, это было во время пиковой нагрузки и возможно график пополз вверх быстрее из-за этого.

Как вы думаете, а тот факт что FreeBSD эта стоит гостевой осью под VMWare может на что-то повлиять?
И ещё, когда-то слышал что какой-то модуль с каким-то конфликтовал, это правда? Может из тех что у меня установлены из списка выше, не важно включенные или нет, какие-то могут конфликтовать? Не важно включенные или нет потому что запускаю некоторые отдельно.

Код:

uname -a
FreeBSD gateway 10.3-RELEASE FreeBSD 10.3-RELEASE #0 r297264: ...

Спасибо что сказали, значит я где-то туплю, буду искать.
Подскажите, а какие у вас ревизии? Или код сборщика давно не менялся?

Если нужна ещё инфа, то менял FreeBSD 10.3 и 9.3, perl 5.18, 5.20.
Подсказали что утечка может быть в flow-tools, что на FreeBSD x64 надо пользовать flow-tools-ng, поставил но ничего не изменилось.
Утечка начинается как только я запускаю collectors.
Отключал зависимый модуль ядра authtraf.
Даже пытался по комментариям в коде что-то написать на python, создаю Z-таблицу, но так как в perl не могу разобраться то не понимаю как работают X таблицы, как они создаются. И ещё не понял как формируется поле class.
Менял методы сбора статистики ipcad и netflow.
Начинаю думать что проблема в коде collectors.pm.
Скажите у кого какие мысли будут

nokernel.pl не вылетает когда память закончилась?

Вылетает только authtraf с текстом:

Код:

retrieval of routing table: Cannot allocate memory

но я думал на модуль Net::Arp.
Пробовал выключать authtraf, но память всё равно уходит

Здравствуйте форумчане. Есть проблема со сбором подробной статистики, ОЗУ постоянно утекает.
График утечки прилагаю.

Коллектор у нас работает по netflow, сенсор на netgraph и порт 6343
mkpeer ipfw: netflow 100 iface0
name ipfw:100 netflow
msg netflow: setdlt { iface = 0 dlt = 12 }
msg netflow: settimeouts {inactive=5 active=60}
mkpeer netflow: ksocket export inet/dgram/udp
msg netflow:export connect inet/127.0.0.1:6343

коллектор:
/usr/local/bin/flow-capture -R /var/db/flows/netflow_6343.pl -p /var/run/flow-capture/flow-capture.pid -w /var/db/flows -n1 -N0 0/127.0.0.1/6343

правила в ipfw добавил:

ipfw add 420 ngtee 100 ip from any to any
ipfw add 450 ngtee 100 ip from any to any
ipfw add 510 ngtee 100 ip from any to any

И оно работает, показывает вроде правильно, но только утечка..

Подробный сбор включён, когда выключаю его то память всё равно утекает, но медленнее.

Ревизия 422.

вывод perl nokernel.pl -L:
MODULE                  AUTORUN? 
collectors                 -       
authtraf                   YES       
tmppays                  YES       
authserver               -       
system_clean           YES       
cap                         YES       
system_check          YES       
make_config            -       
auth                        YES       
notifications             -       
snmp_alarm             -       
services                   YES       
dhcp                        YES       
websession              YES       
pingserver                -       
balance                    YES       
snmp_trap               -
Тут выключен collectors потому что я его отдельно запускал

В dhcp параметр ping_check=0, это к тому что на форуме писали что глючит модуль Net::ARP.
Так же выключил его и в authtraf.
FreeBSD 10.3
Perl 5.20

Кто-то сталкивался? Подскажите решение пожалста, уже давно бьюсь, каждый раз перезагружать сервер не выход, а нам нужен этот модуль, от него работает и authtraf который тоже нужен

Спасибо, это помого

можно попросить инструкцию для настройки сенсора на freebsd. чего то не получается
что я делал:
создал ноду 100

Код:

 
/usr/sbin/ngctl -f- <<-SEQ
   mkpeer ipfw: netflow 100 iface0
   name ipfw:100 netflow
   msg netflow: setdlt { iface = 0 dlt = 12 }
   msg netflow: settimeouts {inactive=5 active=60}
   mkpeer netflow: ksocket export inet/dgram/udp
   msg netflow:export connect inet/192.168.20.254:8888
SEQ

что имею в итоге:

Код:

#ngctl list
There are 4 total nodes:
  Name: ipfw            Type: ipfw            ID: 00000001   Num hooks: 1
  Name: ngctl71879      Type: socket          ID: 00000012   Num hooks: 0
  Name: netflow         Type: netflow         ID: 00000003   Num hooks: 2
  Name: <unnamed>       Type: ksocket         ID: 00000004   Num hooks: 1

Код:

# ngctl msg netflow: info
Rec'd response "info" (805306369) from "[3]:":
Args:	{ IPv4 bytes=610047794231 IPv4 packets=820656471 IPv4 records used=42947 fibs allocated=1 Active expiries=7709521 Inactive expiries=43246582 Inactive timeout=5 Active timeout=60 }

в фаере добавил правило c ngtee 100, собственно пакеты летят в ноду, на коллекторе  делал по инструкции оф доки. фаил 8888.txt присутствует не нулевого размераю
По команде flow-print -f6 < /var/db/flows/8888.txt вываливает ипы, порты и т.д.

Код:

 192.168.21.153   194.50.125.67                    3                 144
 192.168.62.8     65.55.92.184                     2                 104
 178.92.171.183   192.168.29.2                     1                  44
 192.168.26.227   2.93.225.124                     3                 152
 192.168.24.121   94.103.226.191                   3                 152
 178.154.131.216  192.168.29.173                   3                 367

плюс в консоли коллектора постоянно лезет:

Код:

usr/local/bin/flow-export: Exported 214650 records
/usr/local/bin/flow-export: Exported 225232 records
/usr/local/bin/flow-export: Exported 221628 records
/usr/local/bin/flow-export: Exported 221506 records
/usr/local/bin/flow-export: Exported 209239 records
/usr/local/bin/flow-export: Exported 218953 records

при зауске коллектора  с параметром -v

Код:

Получили данные от netflow:

INSERT INTO X2014_10_24 (uid,iface,class,time,`in`,`out`) VALUES ... (rows: 4)

UPDATE users_trf SET traf1=in1+out1
Строк: 5206. Время выполнения sql: 0.0036 сек

UPDATE users_trf SET traf2=in2+out2
Строк: 5206. Время выполнения sql: 0.0034 сек

UPDATE users_trf SET traf3=in3+out3
Строк: 5206. Время выполнения sql: 0.0034 сек

UPDATE users_trf SET traf4=in4+out4
Строк: 5206. Время выполнения sql: 0.0034 сек

SELECT g.grp_maxflow, u.id FROM user_grp g LEFT JOIN users u ON g.grp_id=u.grp WHERE g.grp_maxflow>0 AND u.state<>'off'
Строк: 0. Время выполнения sql: 0.0001 сек

{
  'no_usr_traf' => 0,
  'tm_save_traf' => '0.334206499159336',
  'lines' => 0,
  'tm_start' => '2618913.40391396',
  'size' => 0,
  'err_lines_c' => 0,
  'err_lines' => [],
  'tm_parse' => '4.49782237410545e-05'
};

Получили данные от ipcad:192.168.20.250

Спасибо большое, по вашему примеру когда поставил правильный ext_iface трафик на графике отображается, только не понятно в какое место в правилах ipfw вы поставили ngtee, а то я поставил в самом начале (40е правило) и у меня значения на графике дофига выше реальных.
То есть если реально проходит около 250-300Mb/s (смотрел nload) то показывает ~400