Название: netflow collector nodeny+
Отправлено: vddav от 02 Ноября 2014, 13:45:23
работает снятие статистики по netflow с трех сателитов на freebsd. все работает, но есть одно НО - процесс /usr/bin/perl /usr/local/nodeny/nokernel.pl -m=collectors -d, который собственно и собирает/считает набирает около гига памяти и перестает обсчитывать два остальных сателита. считает только первый как прописан в collectors.cfg. в рабочих директориях не обсчитанных сателитов файлы дампов лежат и распухают. файлы типа 888*.txt есть но время последнего изменения соответствует "отвалу". Суммарного трафика в часы пик около 2Гб/с. сервер только для бд и биллинга. сейчас решил по крону перезапуском nokernel.pl -m=collectors каждые полчаса. при использованием ipcadа такого не наблюдалось, но сателитам было туго( perl -v
This is perl 5, version 12, subversion 4 (v5.12.4) built for amd64-freebsd-thread-multi
FreeBSD 9.1-RELEASE #0 amd64
hw.model: Intel(R) Xeon(R) CPU X5460 @ 3.16GHz
hw.ncpu: 8
hw.physmem: 6423650304
тоже странно - много экспортов, или так и должно быть?
ps ax|grep flow
22960 ?? I 0:00,05 /usr/local/bin/flow-export -f2 -mdoctets,srcaddr,dstaddr,input,output,srcport,dstport,prot
22961 ?? I 0:00,05 /usr/local/bin/flow-export -f2 -mdoctets,srcaddr,dstaddr,input,output,srcport,dstport,prot
22962 ?? I 0:00,02 /usr/local/bin/flow-export -f2 -mdoctets,srcaddr,dstaddr,input,output,srcport,dstport,prot
58224 ?? I 0:00,06 /usr/local/bin/flow-export -f2 -mdoctets,srcaddr,dstaddr,input,output,srcport,dstport,prot
58225 ?? I 0:00,04 /usr/local/bin/flow-export -f2 -mdoctets,srcaddr,dstaddr,input,output,srcport,dstport,prot
68077 ?? Ss 3:25,58 /usr/local/bin/flow-capture -n1 -N0 -R /var/db/flows/kir/netflow_8890.pl -w /var/db/flows/kir/ -p /var/run/flow-captur
68083 ?? Ss 4:14,64 /usr/local/bin/flow-capture -n1 -N0 -R /var/db/flows/sel/netflow_8889.pl -w /var/db/flows/sel/ -p /var/run/flow-captur
68089 ?? Ss 2:47,68 /usr/local/bin/flow-capture -n1 -N0 -R /var/db/flows/sel2/netflow_8888.pl -w /var/db/flows/sel2/ -p /var/run/flow-capt
87818 ?? I 0:00,06 /usr/local/bin/flow-export -f2 -mdoctets,srcaddr,dstaddr,input,output,srcport,dstport,prot
87819 ?? I 0:00,03 /usr/local/bin/flow-export -f2 -mdoctets,srcaddr,dstaddr,input,output,srcport,dstport,prot
10656 3- I 0:00,09 /usr/local/bin/flow-export -f2 -mdoctets,srcaddr,dstaddr,input,output,srcport,dstport,prot
10658 3- I 0:00,05 /usr/local/bin/flow-export -f2 -mdoctets,srcaddr,dstaddr,input,output,srcport,dstport,prot
38500 4 R+ 0:00,00 grep flow
собственно как побороть? первая мысль конечно же все обновить, но... все равно когда то придется, но все же знать бы точно в чем причина. есть подозрение на версию перл, но вроде на новых версиях что то работает не корректно - здесь писали.
Название: Re: netflow collector nodeny+
Отправлено: Efendy от 03 Ноября 2014, 09:03:40
А какого объема файлы 888*.txt?
Название: Re: netflow collector nodeny+
Отправлено: vddav от 03 Ноября 2014, 11:07:41
3-4 МБ, а tmp* , после отвала, что видел, распухали 30+ мб. как будто переставал запускаться фаил ротации netflow_88**.pl, в нем самом пути прописаны верно - был в начале косяк у меня когда по разным директориям разнес - модуль нетфлов после рестарта перезаписывал пути в нем, изменил в конфиге collectors.cfg ls -l -R -h /var/db/flows/
total 16
-r-x------ 1 root flowtools 106B 2 ноя 11:40 collrestart.sh
drwxr-xr-x 2 root flowtools 512B 3 ноя 13:07 kir
drwxr-xr-x 2 root flowtools 512B 3 ноя 13:07 sel
drwxr-xr-x 2 root flowtools 512B 3 ноя 13:07 sel2
/var/db/flows/kir:
total 5284
-rw-r--r-- 1 root flowtools 2,8M 3 ноя 13:07 8890.txt
-rwx------ 1 root flowtools 85B 3 ноя 13:00 netflow_8890.pl
-rw-r--r-- 1 root flowtools 2,3M 3 ноя 13:08 tmp-v05.2014-11-03.130709+0400
/var/db/flows/sel:
total 6500
-rw-r--r-- 1 root flowtools 3,4M 3 ноя 13:07 8889.txt
-rwx------ 1 root flowtools 85B 3 ноя 13:00 netflow_8889.pl
-rw-r--r-- 1 root flowtools 2,9M 3 ноя 13:08 tmp-v05.2014-11-03.130709+0400
/var/db/flows/sel2:
total 4100
-rw-r--r-- 1 root flowtools 2,1M 3 ноя 13:07 8888.txt
-rwx------ 1 root flowtools 87B 3 ноя 13:00 netflow_8888.pl
-rw-r--r-- 1 root flowtools 1,9M 3 ноя 13:08 tmp-v05.2014-11-03.130709+0400
cat /usr/local/nodeny/kernel/collectors.cfg
# Сбор статистики трафика
run => 0,
period => 60,
detail => 0, # вести детализацию трафика
list => [
#kir-sat
{
type => 'netflow',
port => '8890',
flow_base => '/var/db/flows/kir/',
capture_pid => '/var/run/flow-capture/flow-capture.pid',
ext_iface => '45',
},
#sel-sat
{
type => 'netflow',
port => '8889',
flow_base => '/var/db/flows/sel/',
capture_pid => '/var/run/flow-capture/flow-capture.pid',
ext_iface => '48',
},
#sel-sat-2
{
type => 'netflow',
port => '8888',
flow_base => '/var/db/flows/sel2/',
capture_pid => '/var/run/flow-capture/flow-capture.pid',
ext_iface => '52',
},
],
|