Биллинговая система Nodeny

Добрый день, коллеги!
Внезапно биллинг перестал получать трафик от коллектора.
В логах биллинга и ничего нет, коллектор тоже молчит. Бил 49.32
Фаирвол :

#!/bin/sh -
f='/sbin/ipfw'

ifOut='sk0'
my_out_nets='ччч'
nod_net='чччч'
nod_kernel='ччч'

ipcad_port='120'

${f} add 50 allow tcp from any to me 22
${f} add 51 allow tcp from me 22 to any

${f} add 100 allow ip from any to any via lo0
${f} add 120 skipto 1000 ip from me to any
${f} add 130 deny icmp from any to any in icmptype 5,9,13,14,15,16,17
${f} add 140 skipto 2000 ip from any to me

${f} add 200 skipto 500 ip from any to any via ${ifOut}

${f} add 300 skipto 4500 ip from any to any in
${f} add 350 divert ${ipcad_port} ip from any to any
${f} add 450 allow ip from any to any

${f} add 500 skipto 32500 ip from any to ${my_out_nets} in
${f} add 550 deny ip from any to any in

# -> ipcad
${f} add 600 divert ${ipcad_port} ip from any to any
${f} add 650 allow ip from ${my_out_nets} to any
${f} add 700 divert natd ip from any to any
${f} add 800 allow ip from any to any

${f} add 1000 allow tcp from any to any setup keep-state
${f} add 1010 allow udp from any to any keep-state
${f} add 1030 allow ip from any to any

${f} add 2000 check-state
${f} add 2010 skipto 2500 ip from any to any via ${ifOut}
${f} add 2200 allow icmp from any to any
${f} add 2300 allow udp from any to any 53,7723
${f} add 2350 allow ip from ччччч to any
${f} add 2351 allow ip from ччччч to any
${f} add 2400 deny ip from any to any

${f} add 2500 divert natd ip from any to any
${f} add 2510 skipto 32500 ip from any to not me

# Inet -> Me
${f} add 2600 allow icmp from any to any
${f} add 2700 allow ip from ${nod_kernel} to any
${f} add 2900 deny ip from any to any

${f} add 4500 allow ip from any to ${nod_net}


${f} add 32490 deny ip from any to any
${f} add 32500 allow ip from ${nod_net} to any

${f} add 65530 deny ip from any to any

Спасибо всем за помощь!

ipcad.conf в студию

capture-ports disable;
interface divert port 120 netflow-disable;
interface sk0;

rsh enable at 127.0.0.1;
rsh enable at xxxxxxxxx;
rsh root@xxxxxxxx admin;
rsh root@127.0.0.1 admin;
rsh ttl = 6;
rsh timeout = 30;
dumpfile = ipcad.dump;
chroot = /tmp;
memory_limit = 50m;

в /tmp хоть есть файлы ipcad?

Есть

а ядро сгребает эти файлы?

В каком смысле?

из tmp

Ядро и коллектор разнесены по разным машинам. А если rsh-ом попытаться с ядра забрать трафик результат 0.

как-то неправильно у тебя работает коллектор и сенсор
так у меня валит неспеша трафик на netflow коллектор, на который разные системы отправляют флоу потоки
а он их разгребает
легко контролировать через tcpdump

Сделал уже как в доке, через порты 1,2. Эффект тот же.
Но трафик попадает в фаирвол :

00350 27609194 17331143444 divert 1 ip from any to any
00351 26680025 17291232518 divert 2 ip from any to any
00600 32517910 28520347574 divert 1 ip from any to any

смотри настройки коллектора
откуда он будет собирать данные

Может что пропустил ?

capture-ports disable;
interface divert port 1 netflow-disable;
interface divert port 2 netflow-disable;
rsh enable at 127.0.0.1;
rsh enable at ххххххх;
rsh root@хххххх admin;
rsh root@127.0.0.1 admin;
rsh ttl = 6;
rsh timeout = 30;
dumpfile = ipcad.dump;
chroot = /tmp;
memory_limit = 50m;

это сенсор

Может вопрос покажется странным но где их смотреть ?

я вот шел с работы и думал, а как же у тебя коллектор забирает трафик?
ну и биллинг тоже, скорее всего в этом проблема

у меня сателит генерит нетфлоу потоки и отправляет по Ip на сервер биллинга, на котором крутился flow-capture

Целый день проколупался так и не понял что за глюк такой :(
Может перейти на нетфлоу ?

переходи, и файрволу легче будет.
не будет дивертов
неспеша ipcad сгенерил трафик и неспеша биллинг разгреб его

А дока есть по настройке?

да

Думаю сделать через ng_netflow, это оно?

ipcad и flow_capture хватит с головой

на 200 мбитах загрузка биллинга гдето 15-20%
на билллинге только ядро и нетфлоу коллектор

2х ядерный Compaq
Intel(R) Pentium(R) III CPU - S         1400MHz
MemTotal:      3 375 924 kB

Если не трудно кинь пожалуйста доку по настройке именно этой связки, что-то не нашел

настрой flow-capture как в доке
а ipcad я показал пример конфига, сливающего на сервер трафик с пачки вланов

Спасибо! В принципе концепция понятна. Вижу что в оф. доках такого нет.
Как на это смотрят разработчики, с той точки зрения "как оно работает" и почему не хотят включить этот вариант в официальную документацию? :)
Это вопрос на "засыпку" был :)

всего не предугадать.
в оф доке пример когда коллектор и сенсор в одном серванте
Ipcad как сенсор, а ядро гребет его дампы

Согласен. Ради спорт интереса хочется все таки добить эту траблу.
По теории  все должно работать. Ип кад дампы делает, траф в фаир попадает а вот если с ядра запросить - не отдает. Может есть еще какие то мысли куда можно глянуть ?

скриншот из биллинга, как у тебя по rsh он забирает

Факт в том что даже с сателлита нет возможности забрать трафик на ядро.
rsh ип_сателлита  show ip accounting - пусто.

знач ipcad не складывает в дамп к себе
посмотри сам файл дампа

Есть файл и информация в нем.   

по rsh на 127.0.0.1 пусто?

Если с локалхоста то все отдает

удаленно, файрвол?

В начале поста я показал пример фаира. Не знаю, сам смотрел его уже несколько раз..
Просто очень все странно поломалось. Именно тогда когда ничего никто не делал..

сделай без диверта

т.е Как у тебя?

да, даже не обязательно с экспортом по нетфлоу.
просто сенсор будет капчить трафик не с диверта, а с любого другого интерфейса.
ну и снизит нагрузку на роутер немного

Ок. Попробую

И этот вариант не дает результата :( Готовлю тестовый сателлит на замену.

tcpdump че ловит то

Ничего не видно. Походу он вообще не отправляет траф

Итак после замени сателлита результат не изменился. Ядро?

покажи последний конфиг ipcad

capture-ports disable;
interface divert port 1 netflow-disable;
interface divert port 2 netflow-disable;

rsh enable at 127.0.0.1;
rsh enable at хххххх;
rsh root@хххххх admin;
rsh root@127.0.0.1 admin;
rsh ttl = 6;
rsh timeout = 30;
dumpfile = ipcad.dump;
chroot = /tmp;
memory_limit = 50m;

interface sk0;
поставь и рестартани ipcad

Fail..  :(

В общем и смех и грех. После перезагрузки ядра (Ребут тазика полностью) трафик начал считаться.
Получается сателлит не причем. В общем сейчас попытаюсь понят что привело остановке подсчета трафика.