Биллинговая система Nodeny
22 Ноября 2024, 12:49:12 *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.
Вам не пришло письмо с кодом активации?

Войти
Новости: Прекращена поддержка версии Nodeny 49
 
   Начало   Помощь Поиск Войти Регистрация  
Страниц: [1]
  Печать  
Автор Тема: netflow collector nodeny+  (Прочитано 5178 раз)
vddav
Старожил
****

Карма: 3
Offline Offline

Сообщений: 251


Просмотр профиля Email
« : 02 Ноября 2014, 13:45:23 »

работает снятие статистики по netflow с трех сателитов на freebsd. все работает, но есть одно НО - процесс /usr/bin/perl /usr/local/nodeny/nokernel.pl -m=collectors -d, который собственно и собирает/считает набирает около гига памяти и перестает обсчитывать два остальных сателита. считает только первый как прописан в collectors.cfg. в рабочих директориях не обсчитанных сателитов файлы дампов лежат и распухают. файлы типа 888*.txt есть но время последнего изменения соответствует "отвалу". Суммарного трафика в часы пик около 2Гб/с. сервер только для бд и биллинга.
сейчас решил по крону перезапуском nokernel.pl -m=collectors каждые полчаса.
при использованием ipcadа такого не наблюдалось, но сателитам было туго(

Код:
perl -v

This is perl 5, version 12, subversion 4 (v5.12.4) built for amd64-freebsd-thread-multi

FreeBSD 9.1-RELEASE #0  amd64

hw.model: Intel(R) Xeon(R) CPU           X5460  @ 3.16GHz
hw.ncpu: 8
hw.physmem: 6423650304

тоже странно - много экспортов, или так и должно быть?
ps ax|grep flow
22960 ??  I         0:00,05 /usr/local/bin/flow-export -f2 -mdoctets,srcaddr,dstaddr,input,output,srcport,dstport,prot
22961 ??  I         0:00,05 /usr/local/bin/flow-export -f2 -mdoctets,srcaddr,dstaddr,input,output,srcport,dstport,prot
22962 ??  I         0:00,02 /usr/local/bin/flow-export -f2 -mdoctets,srcaddr,dstaddr,input,output,srcport,dstport,prot
58224 ??  I         0:00,06 /usr/local/bin/flow-export -f2 -mdoctets,srcaddr,dstaddr,input,output,srcport,dstport,prot
58225 ??  I         0:00,04 /usr/local/bin/flow-export -f2 -mdoctets,srcaddr,dstaddr,input,output,srcport,dstport,prot
68077 ??  Ss        3:25,58 /usr/local/bin/flow-capture -n1 -N0 -R /var/db/flows/kir/netflow_8890.pl -w /var/db/flows/kir/ -p /var/run/flow-captur
68083 ??  Ss        4:14,64 /usr/local/bin/flow-capture -n1 -N0 -R /var/db/flows/sel/netflow_8889.pl -w /var/db/flows/sel/ -p /var/run/flow-captur
68089 ??  Ss        2:47,68 /usr/local/bin/flow-capture -n1 -N0 -R /var/db/flows/sel2/netflow_8888.pl -w /var/db/flows/sel2/ -p /var/run/flow-capt
87818 ??  I         0:00,06 /usr/local/bin/flow-export -f2 -mdoctets,srcaddr,dstaddr,input,output,srcport,dstport,prot
87819 ??  I         0:00,03 /usr/local/bin/flow-export -f2 -mdoctets,srcaddr,dstaddr,input,output,srcport,dstport,prot
10656  3- I         0:00,09 /usr/local/bin/flow-export -f2 -mdoctets,srcaddr,dstaddr,input,output,srcport,dstport,prot
10658  3- I         0:00,05 /usr/local/bin/flow-export -f2 -mdoctets,srcaddr,dstaddr,input,output,srcport,dstport,prot
38500  4  R+        0:00,00 grep flow


собственно как побороть? первая мысль конечно же все обновить, но... все равно когда то придется, но все же знать бы точно в чем причина. есть подозрение на версию перл, но вроде на новых версиях что то работает не корректно - здесь писали.
Записан
Efendy
Администратор
Спец
*****

Карма: 138
Offline Offline

Сообщений: 4790



Просмотр профиля
« Ответ #1 : 03 Ноября 2014, 09:03:40 »

А какого объема файлы 888*.txt?
Записан
vddav
Старожил
****

Карма: 3
Offline Offline

Сообщений: 251


Просмотр профиля Email
« Ответ #2 : 03 Ноября 2014, 11:07:41 »

3-4 МБ, а tmp* , после отвала, что видел, распухали 30+ мб. как будто переставал запускаться фаил ротации netflow_88**.pl, в нем самом пути прописаны верно - был в начале косяк у меня когда по разным директориям разнес - модуль нетфлов после рестарта перезаписывал пути в нем, изменил в конфиге collectors.cfg
Код:
ls -l -R -h /var/db/flows/
total 16
-r-x------  1 root  flowtools   106B  2 ноя 11:40 collrestart.sh
drwxr-xr-x  2 root  flowtools   512B  3 ноя 13:07 kir
drwxr-xr-x  2 root  flowtools   512B  3 ноя 13:07 sel
drwxr-xr-x  2 root  flowtools   512B  3 ноя 13:07 sel2

/var/db/flows/kir:
total 5284
-rw-r--r--  1 root  flowtools   2,8M  3 ноя 13:07 8890.txt
-rwx------  1 root  flowtools    85B  3 ноя 13:00 netflow_8890.pl
-rw-r--r--  1 root  flowtools   2,3M  3 ноя 13:08 tmp-v05.2014-11-03.130709+0400

/var/db/flows/sel:
total 6500
-rw-r--r--  1 root  flowtools   3,4M  3 ноя 13:07 8889.txt
-rwx------  1 root  flowtools    85B  3 ноя 13:00 netflow_8889.pl
-rw-r--r--  1 root  flowtools   2,9M  3 ноя 13:08 tmp-v05.2014-11-03.130709+0400

/var/db/flows/sel2:
total 4100
-rw-r--r--  1 root  flowtools   2,1M  3 ноя 13:07 8888.txt
-rwx------  1 root  flowtools    87B  3 ноя 13:00 netflow_8888.pl
-rw-r--r--  1 root  flowtools   1,9M  3 ноя 13:08 tmp-v05.2014-11-03.130709+0400

cat /usr/local/nodeny/kernel/collectors.cfg
# Сбор статистики трафика

run    => 0,
period => 60,
detail => 0,    # вести детализацию трафика

list   => [

#kir-sat    
    {
         type        => 'netflow',
         port        => '8890',
         flow_base   => '/var/db/flows/kir/',
         capture_pid => '/var/run/flow-capture/flow-capture.pid',
         ext_iface   => '45',
    },

#sel-sat    
    {
         type        => 'netflow',
         port        => '8889',
         flow_base   => '/var/db/flows/sel/',
         capture_pid => '/var/run/flow-capture/flow-capture.pid',
         ext_iface   => '48',
    },

#sel-sat-2    
    {
         type        => 'netflow',
         port        => '8888',
         flow_base   => '/var/db/flows/sel2/',
         capture_pid => '/var/run/flow-capture/flow-capture.pid',
         ext_iface   => '52',
    },

],

Записан
Страниц: [1]
  Печать  
 
Перейти в:  

Powered by MySQL Powered by PHP Powered by SMF 1.1.20 | SMF © 2006-2009, Simple Machines Valid XHTML 1.0! Valid CSS!