Биллинговая система Nodeny

Главная категория => Модули NodenyPlus => Тема начата: Efendy от 22 Декабря 2013, 11:42:12


Название: netflow
Отправлено: Efendy от 22 Декабря 2013, 11:42:12
80 грн. Тестировался на Mikrotik
http://app.nodeny-plus.com.ua/docs/work/netflow.html

Обратите внимание на параметр ext_iface - номер внешнего интерфейса. Наш микротик показал, что номер = 0, хотя в netflow посылал его как №1.  Возможно это фича Микротика

Название: Re: netflow
Отправлено: Efendy от 23 Декабря 2013, 15:09:08
Хочу отметить, что в N+должна быть бОльшая производительность по сравнению с N50 по части  обработки netflow. Алгоритм работы N50:

1. Из ядра запускаем отдельный процесс:
  1.1 Создаем netflow_8888.pl (дергаем диск на запись)
  1.2 Посылаем сигнал flow-capture, происходит запись на диск потока (дергаем диск на запись)
  1.3. Считываем файл, преобразуем, записываем на диск  (дергаем диск на запись)
2. В ядре считываем файл и обрабатываем

Алгоритм N+:

1. Не запускаем отдельный процесс (не тратим ресурсы) т.к. коллектор работает в отдельном потоке, а передаем команду коллектору
  1.1.  Посылаем сигнал flow-capture, происходит запись на диск потока (дергаем диск на запись)
  1.2. netflow_8888.pl (созданный одноктратно при запуске) переименовывает поток в 8888.txt (очень маленькое дерганье диска)
  1.3. Обрабатываем файл и передаем ядру на обработку

В итоге: в N+ мы меньше задрачиваем диск и быстрей обрабатываем

Название: Re: netflow
Отправлено: vddav от 24 Октября 2014, 17:28:33
можно попросить инструкцию для настройки сенсора на freebsd. чего то не получается
что я делал:
создал ноду 100
Код:
 
/usr/sbin/ngctl -f- <<-SEQ
   mkpeer ipfw: netflow 100 iface0
   name ipfw:100 netflow
   msg netflow: setdlt { iface = 0 dlt = 12 }
   msg netflow: settimeouts {inactive=5 active=60}
   mkpeer netflow: ksocket export inet/dgram/udp
   msg netflow:export connect inet/192.168.20.254:8888
SEQ

что имею в итоге:
Код:
#ngctl list
There are 4 total nodes:
  Name: ipfw            Type: ipfw            ID: 00000001   Num hooks: 1
  Name: ngctl71879      Type: socket          ID: 00000012   Num hooks: 0
  Name: netflow         Type: netflow         ID: 00000003   Num hooks: 2
  Name: <unnamed>       Type: ksocket         ID: 00000004   Num hooks: 1

Код:
# ngctl msg netflow: info
Rec'd response "info" (805306369) from "[3]:":
Args:	{ IPv4 bytes=610047794231 IPv4 packets=820656471 IPv4 records used=42947 fibs allocated=1 Active expiries=7709521 Inactive expiries=43246582 Inactive timeout=5 Active timeout=60 }

в фаере добавил правило c ngtee 100, собственно пакеты летят в ноду, на коллекторе  делал по инструкции оф доки. фаил 8888.txt присутствует не нулевого размераю
По команде flow-print -f6 < /var/db/flows/8888.txt вываливает ипы, порты и т.д.
Код:
 192.168.21.153   194.50.125.67                    3                 144
 192.168.62.8     65.55.92.184                     2                 104
 178.92.171.183   192.168.29.2                     1                  44
 192.168.26.227   2.93.225.124                     3                 152
 192.168.24.121   94.103.226.191                   3                 152
 178.154.131.216  192.168.29.173                   3                 367
плюс в консоли коллектора постоянно лезет:
Код:
usr/local/bin/flow-export: Exported 214650 records
/usr/local/bin/flow-export: Exported 225232 records
/usr/local/bin/flow-export: Exported 221628 records
/usr/local/bin/flow-export: Exported 221506 records
/usr/local/bin/flow-export: Exported 209239 records
/usr/local/bin/flow-export: Exported 218953 records

при зауске коллектора  с параметром -v
Код:
Получили данные от netflow:

INSERT INTO X2014_10_24 (uid,iface,class,time,`in`,`out`) VALUES ... (rows: 4)

UPDATE users_trf SET traf1=in1+out1
Строк: 5206. Время выполнения sql: 0.0036 сек

UPDATE users_trf SET traf2=in2+out2
Строк: 5206. Время выполнения sql: 0.0034 сек

UPDATE users_trf SET traf3=in3+out3
Строк: 5206. Время выполнения sql: 0.0034 сек

UPDATE users_trf SET traf4=in4+out4
Строк: 5206. Время выполнения sql: 0.0034 сек

SELECT g.grp_maxflow, u.id FROM user_grp g LEFT JOIN users u ON g.grp_id=u.grp WHERE g.grp_maxflow>0 AND u.state<>'off'
Строк: 0. Время выполнения sql: 0.0001 сек

{
  'no_usr_traf' => 0,
  'tm_save_traf' => '0.334206499159336',
  'lines' => 0,
  'tm_start' => '2618913.40391396',
  'size' => 0,
  'err_lines_c' => 0,
  'err_lines' => [],
  'tm_parse' => '4.49782237410545e-05'
};


Получили данные от ipcad:192.168.20.250
в итоге трафика в биллинге нету(.

Название: Re: netflow
Отправлено: vddav от 25 Октября 2014, 11:55:31
победил!)))
в общем особое внимание на параметр ext_iface в настройках коллектора! у меня он оказался 52)) система с кучей вланов)
по команде ifconfig считаем до интерфейса, либо :
Цитировать
Создаём файл с расширением .c например if_nametoindex.c. В пустой if_nametoindex.c файл добавляем:

#include <sys/socket.h>

#include <net/if.h>

using namespace std;

#include <iostream>

int main(int argc, char **argv)

    {  for (int i = 1; i < argc; i++)

        {  cout << argv << " = " << if_nametoindex(argv) << "\n";

        }

        return 0;

    }

ПЕРЕВОД СТРОКИ В КОНЦЕ ФАЙЛА ОБЯЗАТЕЛЕН

 

Находясь в тойже директории, что и if_nametoindex.c выполняем компиляцию:

# c++ -o if_nametoindex if_nametoindex.c

Появится исполняемый файл, который зелёный если через mc-light на него смотреть. Далее запускаем исполняемый файл:

# ./if_nametoindex "re1" "re2" "lo0"

re1 = 3

re2 = 4

lo0 = 7

Запускается одним или несколькими параметрами через пробел. В качестве параметра в main передаётся имя/имена сетевого/ых интерфейса/ов и в ответ выдаётся соответствующий номер

взято с anteh.ru/notes/freebsd/notes_netflow.html

Название: Re: netflow
Отправлено: poxy. от 25 Октября 2014, 12:07:36
Цитата: vddav от 25 Октября 2014, 11:55:31
победил!)))
в общем особое внимание на параметр ext_iface в настройках коллектора! у меня он оказался 52)) система с кучей вланов)
по команде ifconfig считаем до интерфейса, либо :
Цитировать
Создаём файл с расширением .c например if_nametoindex.c. В пустой if_nametoindex.c файл добавляем:

#include <sys/socket.h>

#include <net/if.h>

using namespace std;

#include <iostream>

int main(int argc, char **argv)

    {  for (int i = 1; i < argc; i++)

        {  cout << argv << " = " << if_nametoindex(argv) << "\n";

        }

        return 0;

    }

ПЕРЕВОД СТРОКИ В КОНЦЕ ФАЙЛА ОБЯЗАТЕЛЕН

 

Находясь в тойже директории, что и if_nametoindex.c выполняем компиляцию:

# c++ -o if_nametoindex if_nametoindex.c

Появится исполняемый файл, который зелёный если через mc-light на него смотреть. Далее запускаем исполняемый файл:

# ./if_nametoindex "re1" "re2" "lo0"

re1 = 3

re2 = 4

lo0 = 7

Запускается одним или несколькими параметрами через пробел. В качестве параметра в main передаётся имя/имена сетевого/ых интерфейса/ов и в ответ выдаётся соответствующий номер

взято с anteh.ru/notes/freebsd/notes_netflow.html
+ в карму за труды праведные  :)

Название: Re: netflow
Отправлено: vddav от 25 Октября 2014, 16:22:06
еще обнаружился нюанс, когда два и более устройств надо менять рабочую директорию на другую уникальную, ибо поочередно вываливаются копии flow-capture, получаются одинаковые копии дампов, и одна копия не может ее перезаписать в итоге валиться. в стартовом конфиге изменить параметр, например:
Код:
-w /var/db/flows/8889
и в netflow_8889.pl также подправить откуда переименовывать.
ЗЫ заработало тока таким образом)

Название: Re: netflow
Отправлено: bill от 07 Мая 2015, 12:05:40
Привет!
Вводит в заблуждение параметр ext_iface что там указывать? Где посмотреть номер в сенсоре ? Господин vddav указывал на то что он зависит от количества интерфейсов ?! Если у меня pppoe и количество интерфейсов всегда разное?!
Если не сложно поясните.

Название: Re: netflow
Отправлено: Warlock от 07 Мая 2015, 14:13:09
Цитата: bill от 07 Мая 2015, 12:05:40
Привет!
Вводит в заблуждение параметр ext_iface что там указывать?
указавать номер внешнего интерфейса.

Название: Re: netflow
Отправлено: bill от 07 Мая 2015, 14:53:55
Цитата: Warlock от 07 Мая 2015, 14:13:09
Цитата: bill от 07 Мая 2015, 12:05:40
Привет!
Вводит в заблуждение параметр ext_iface что там указывать?
указавать номер внешнего интерфейса.

Какой номер? Порядковый или еще какой-нибудь? Где его посмотреть? Если внешних интерфейсов много?

Название: Re: netflow
Отправлено: Warlock от 07 Мая 2015, 15:40:22
Цитата: bill от 07 Мая 2015, 14:53:55
Какой номер? Порядковый или еще какой-нибудь? Где его посмотреть? Если внешних интерфейсов много?
выше ведь написано:
Цитировать
в общем особое внимание на параметр ext_iface в настройках коллектора! у меня он оказался 52)) система с кучей вланов)
по команде ifconfig считаем до интерфейса
Как может быть много внешних интерфейсов? Внешний интерфейс - это тот, что приходящий.

Название: Re: netflow
Отправлено: bill от 07 Мая 2015, 15:45:47
Цитата: Warlock от 07 Мая 2015, 15:40:22
Цитата: bill от 07 Мая 2015, 14:53:55
Какой номер? Порядковый или еще какой-нибудь? Где его посмотреть? Если внешних интерфейсов много?
выше ведь написано:
Цитировать
в общем особое внимание на параметр ext_iface в настройках коллектора! у меня он оказался 52)) система с кучей вланов)
по команде ifconfig считаем до интерфейса
Как может быть много внешних интерфейсов? Внешний интерфейс - это тот, что приходящий.
Обычно, несколько аплинков. У меня сенсор и коллектор на одной машине.

Название: Re: netflow
Отправлено: hardman от 16 Февраля 2016, 13:07:32
Цитата: Efendy от 22 Декабря 2013, 11:42:12
Обратите внимание на параметр ext_iface - номер внешнего интерфейса. Наш микротик показал, что номер = 0, хотя в netflow посылал его как №1.  Возможно это фича Микротика

1. народ научите как определять номер интерфейса в случае с микротиком,  я методом перебора номеров подобрал ,  на тестовом микротике у меня всего 5 интерфейсов быстро и наверняка ,  а на боевом 31. , а если еще конфиги наменяю надо научиться выявлять.
вот смотрю вывод flow-printflow-print -f5 < /var/db/flows/8888.txt  если часто вижу Sif  Dif  эти номера и подбирал.

2. можно ли написать 
Код:
ext_iface   => '3,4' 
  если два WAN  интефейса.

Название: Re: netflow
Отправлено: Warlock от 16 Февраля 2016, 16:13:50
1. можно по snmp посмотреть.. ifDescr
у меня так:
IF-MIB::ifDescr.521 = STRING: xe-0/0/0.612
следовательно номер интерфейса 521
2. хз

Название: Re: netflow
Отправлено: incokeeper от 17 Февраля 2016, 22:03:44
Столкнулся с аналогичной проблемой.
С микротика упорно отказывается снимать трафик, перебрал все возможные номера интерфейсов.

Подскажите, такая вот конфигурация:
физический интерфейс (sfp2) на нем 4 влана (два фула и два уаикса)
команда interface print говорит, что у sfp2 номер 1 (трафика 170-210 Мбит\с)  но рисует 10-20 мегабит
пробовал вписывать номера вланов - не рисует.

что не так? ))) 

Название: Re: netflow
Отправлено: Efendy от 17 Февраля 2016, 23:41:54
номер интерфейса можно вычислить логически посмотрев  на дамп нетфлоу, судя по моей доке для н50:

Код:
flow-print < /var/db/flows/ft-v05.2008-12-17.141129+0000

приведите кусок результата здесь и я подскажу

Название: Re: netflow
Отправлено: hardman от 18 Февраля 2016, 07:09:45
Обратите внимание на Гб,ГбМб,МбКб,КбБайтКбайт/секКбит/секМбит/сек в правом углу интерфейса nodeny.   я не настаиваю...  но вдруг. 

Уважаемый Efendy, скажите как  указать параметру ext_iface   => '2',   файл /usr/local/nodeny/kernel/collectors.cfg два несколько номеров   внешних интерфейсов , или второй секцией обрабатывать тот же файл ? неужели придется дважды с сенсора на разные порты в разные директории , как на два  устройства ?

Название: Re: netflow
Отправлено: incokeeper от 18 Февраля 2016, 09:23:31
Цитата: Efendy от 17 Февраля 2016, 23:41:54
номер интерфейса можно вычислить логически посмотрев  на дамп нетфлоу, судя по моей доке для н50:

Код:
flow-print < /var/db/flows/ft-v05.2008-12-17.141129+0000

приведите кусок результата здесь и я подскажу

Код:
194.28.101.32    68.227.18.16     17    13255    18939    634         2
194.28.101.50    94.75.25.159     6     47865    27895    240         3
194.28.101.50    194.44.121.155   17    47865    1165     228         3
194.28.101.50    145.249.138.173  6     47865    56785    240         3
194.28.101.50    78.168.188.118   6     47865    52526    160         2
194.28.101.50    109.172.30.38    6     47865    29647    240         3
50.19.124.35     91.226.201.185   6     80       50501    5126        7
194.28.101.50    5.228.251.58     6     47865    40650    152         2
194.28.101.50    194.44.121.155   6     47865    52235    160         2
194.28.101.50    158.181.43.172   6     47865    47330    160         2
194.28.101.50    185.12.225.15    17    47865    48109    228         3
194.28.101.50    83.219.138.151   17    47865    14984    242         2
194.28.101.50    82.135.128.215   17    47865    11855    228         3
194.28.101.50    5.76.70.225      6     47865    62198    160         2
73.70.82.78      91.226.201.145   17    51413    44601    150         2
78.138.133.155   194.28.100.178   17    61542    2404     96          2
194.28.100.178   78.138.133.155   17    2404     61542    96          2
95.213.1.8       91.226.201.75    6     80       2386     104         2
91.226.201.50    216.58.214.238   6     52789    443      4519        6
91.226.201.45    52.0.253.40      6     57481    0        104         2
91.226.201.56    69.194.140.184   6     59953    80       991         10
212.42.77.235    91.226.201.7     6     443      49678    80          2
64.233.165.188   194.28.100.137   6     5228     51312    172         2
208.146.36.47    194.28.100.178   6     80       3329     80          2
91.226.201.218   62.249.146.149   6     51535    28082    156         3
91.226.201.98    217.20.147.94    6     51891    80       3339        8
8.253.81.30      91.226.201.242   6     80       53948    9517586     6359
91.226.201.242   8.253.81.30      6     53948    80       109342      2386
91.226.201.56    69.194.140.184   6     59955    80       895         7
212.122.91.60    194.28.100.178   17    57825    2404     96          2
194.28.100.178   212.122.91.60    17    2404     57825    96          2
194.28.100.127   91.226.201.5     17    23038    53       114         2
91.226.201.5     194.28.100.127   17    53       23038    698         2
91.226.201.53    109.94.198.93    6     11546    60182    4032        7
194.28.100.127   95.213.4.212     6     48956    80       503         4
216.58.214.238   91.226.201.50    6     443      52789    1919        4
5.166.80.44      91.226.201.152   6     30746    34047    2415        21
91.226.201.152   37.23.250.254    6     34047    51231    2726        22
91.226.201.152   5.166.80.44      6     34047    30746    2191        23
217.20.147.94    91.226.201.98    6     80       51891    4921        9
194.28.100.161   94.100.180.59    6     50374    80       80          2
37.151.128.116   194.28.100.178   17    61250    2404     96          2
194.28.100.178   37.151.128.116   17    2404     61250    96          2
94.198.238.37    91.226.201.147   6     50821    21772    96          2
50.19.124.35     91.226.201.185   6     80       50502    2228        5
95.213.4.212     194.28.100.127   6     80       48956    172         3
94.100.180.59    194.28.100.161   6     80       50374    80          2
194.28.100.47    52.28.23.168     6     50304    80       82          2
78.187.168.44    194.28.100.22    6     50851    58416    156         3
77.222.148.121   91.226.201.242   6     80       53857    5473921     3654
77.222.148.121   91.226.201.242   6     80       53863    3027683     2022
91.226.201.242   77.222.148.121   6     53856    80       57776       1268
91.226.201.242   77.222.148.121   6     53861    80       62292       1360
91.226.201.242   77.222.148.121   6     53860    80       92054       2061
192.168.0.1      255.255.255.255  17    1034     1947     136         2
192.168.0.1      255.255.255.255  17    1034     1947     136         2
192.168.0.1      255.255.255.255  17    1034     1947     136         2
192.168.0.1      255.255.255.255  17    1034     1947     136         2
192.168.0.1      255.255.255.255  17    1034     1947     136         2
192.168.0.1      255.255.255.255  17    1034     1947     136         2
77.222.148.121   91.226.201.242   6     80       53856    4181712     2793
77.222.148.121   91.226.201.242   6     80       53858    5642259     3767
91.226.201.242   77.222.148.121   6     53858    80       68834       1533
91.226.201.242   77.222.148.121   6     53863    80       46890       1039
91.226.201.116   216.58.209.195   6     49272    443      82          2
77.222.148.121   91.226.201.242   6     80       53860    7513772     5017
77.222.148.121   91.226.201.242   6     80       53861    4230298     2824
93.84.56.85      194.28.100.178   17    63636    2404     96          2
91.226.201.242   77.222.148.121   6     53857    80       72634       1588
194.28.100.178   93.84.56.85      17    2404     63636    96          2
91.226.201.147   216.58.214.206   6     56293    443      82          2
91.226.201.116   54.183.14.101    6     49381    80       160         4
183.61.254.79    91.226.201.7     17    64969    53       1040        16
91.226.201.7     183.61.254.79    17    53       64969    65968       16
109.94.198.93    91.226.201.53    6     60182    11546    224         5
194.28.100.161   95.213.11.113    6     50351    80       1192        3
216.58.209.195   91.226.201.116   6     443      49272    104         2
52.28.23.168     194.28.100.47    6     80       50304    104         2
128.75.182.191   91.226.201.43    6     51697    46430    96          2
5.141.222.225    91.226.201.218   17    15905    47323    140         2
91.226.201.218   5.141.222.225    17    47323    15905    146         2
91.226.201.61    78.83.48.71      6     58988    63121    96          2
91.226.201.61    176.120.60.198   6     58991    57318    96          2
91.226.201.61    177.177.116.239  6     58990    34507    96          2
91.226.201.61    31.46.247.226    6     58987    43160    96          2
222.102.71.188   91.226.201.145   17    41072    44601    212         2
216.58.214.206   91.226.201.147   6     443      56293    104         2
80.247.45.245    91.226.201.154   17    55457    11062    264         2
54.169.41.155    91.226.201.136   6     80       46542    467         7
91.226.201.98    91.226.201.5     17    59420    53       118         2
192.168.0.250    194.176.97.2     17    56042    53       140         2
95.213.11.113    194.28.100.161   6     80       50351    712         2
194.176.97.2     192.168.0.250    17    53       56042    140         2
192.168.0.250    8.8.8.8          17    49675    53       140         2
194.28.100.161   87.240.131.120   6     50108    443      414         3
14.55.198.170    194.28.100.18    17    3643     53413    58          2
194.28.100.18    14.55.198.170    17    53413    3643     114         2
91.226.201.50    216.58.214.238   6     52787    443      3183        4
82.208.101.232   91.226.201.68    6     54625    64466    96          2
92.38.131.47     91.226.201.62    6     12774    55941    160         2
91.226.201.82    216.58.214.234   6     32972    443      1877        9
103.192.176.194  91.226.201.7     17    4998     53       1040        16
194.28.101.95    185.130.5.224    17    53413    51848    144         2
91.226.201.7     103.192.176.194  17    53       4998     65968       16
91.226.201.218   37.1.132.147     6     51537    65496    1456        8
95.106.204.50    91.226.201.145   17    33895    44601    264         2
86.57.177.41     194.28.100.117   6     53617    48179    156         3
91.226.201.61    93.56.180.196    6     58995    18974    156         3
37.23.250.254    91.226.201.152   6     51231    34047    2769        29
93.79.217.3      91.226.201.147   17    39407    21772    140         2
194.28.100.18    224.0.0.113      2     0        0        64          2
194.28.100.18    224.0.0.113      2     0        0        64          2
194.28.100.18    224.0.0.113      2     0        0        64          2
194.28.100.18    224.0.0.113      2     0        0        64          2
194.28.100.18    224.0.0.113      2     0        0        64          2
91.226.201.152   78.139.167.182   6     80       52593    120         3
91.226.201.152   78.139.167.182   6     443      52592    120         3
95.182.68.62     194.28.100.25    6     52942    40493    96          2
8.8.8.8          192.168.0.250    17    53       49675    236         2
91.226.201.5     91.226.201.98    17    53       59420    418         2
46.174.190.2     91.226.201.30    6     80       56789    80          2
216.58.214.238   91.226.201.50    6     443      52787    801         3
87.240.144.167   91.226.201.211   6     80       57811    592         3
91.226.201.98    217.20.155.12    6     51895    80       789         8
91.226.201.98    217.20.155.12    6     51896    80       749         7
94.141.176.86    91.226.201.62    6     58723    37817    156         3
91.226.201.98    217.20.155.12    6     51897    80       749         7
91.226.201.211   87.240.144.167   6     57811    80       1034        3
2.82.227.129     91.226.201.154   17    50321    6000     258         2
87.240.131.120   194.28.100.161   6     443      50108    1112        2
91.226.201.145   95.106.204.50    17    44601    33895    676         2
216.58.214.234   91.226.201.82    6     443      32972    1148        8
69.194.140.184   91.226.201.56    6     80       59955    2408        6
95.30.238.36     91.226.201.222   6     4804     32675    96          2
217.20.155.12    91.226.201.98    6     80       51895    11090       11
217.20.155.12    91.226.201.98    6     80       51897    8857        9
217.20.155.12    91.226.201.98    6     80       51896    7531        8
91.226.201.30    46.174.190.2     6     56789    80       80          2
91.226.201.242   54.192.95.134    6     53954    443      82          2
183.61.254.79    91.226.201.7     17    56515    53       520         8
91.226.201.7     183.61.254.79    17    53       56515    32984       8
91.226.201.242   8.253.81.30      6     53956    80       5174        101
91.226.201.62    213.230.77.195   6     55918    26967    96          2
54.169.19.239    91.226.201.7     6     80       60200    104         2
217.20.147.94    91.226.201.98    6     80       51156    984         2
37.1.132.147     91.226.201.218   6     65496    51537    1496        9
217.20.155.58    194.28.100.137   6     80       53063    14062       13
91.226.201.62    212.252.20.19    6     55917    57501    96          2
194.28.100.137   217.20.155.58    6     53063    80       520         13
91.226.201.62    46.130.2.219     6     55916    22965    96          2
54.192.95.134    91.226.201.242   6     443      53954    104         2
176.114.191.62   91.226.201.212   17    8328     37903    144         3
8.253.81.30      91.226.201.242   6     80       53956    323173      216
87.117.12.190    91.226.201.62    6     54594    37817    96          2
91.226.201.62    92.38.131.47     6     55941    12774    156         3
46.158.216.44    91.226.201.69    17    48913    50272    264         2
91.226.201.62    85.101.241.128   6     55942    50611    156         3
87.229.214.118   91.226.201.62    6     53289    37817    96          2
37.150.174.163   91.226.201.212   6     61904    37903    156         3
94.100.180.59    194.28.100.200   6     443      50369    182         3
91.226.201.45    216.58.214.234   6     57774    443      9934        16
194.28.100.200   94.100.180.59    6     50369    443      120         3
213.179.252.59   194.28.100.178   17    7736     2315     96          2
194.28.100.178   213.179.252.59   17    2315     7736     96          2
77.45.153.92     91.226.201.62    6     4676     37817    104         2
62.249.146.0     91.226.201.218   17    1954     47323    198         2
91.226.201.218   62.249.146.0     17    47323    1954     534         2
8.8.4.4          192.168.0.250    17    53       62755    294         2
91.226.201.5     194.28.100.112   17    53       11654    272         2
180.97.162.119   91.226.201.7     17    59149    53       1040        16
194.135.154.205  91.226.201.154   6     62316    11062    96          2
91.226.201.7     180.97.162.119   17    53       59149    61845       15
144.76.112.124   91.226.201.7     6     80       49968    38203       30
91.226.201.7     144.76.112.124   6     49968    80       1117        16
91.226.201.81    87.240.183.228   6     50154    80       82          2
91.226.201.81    87.240.181.76    6     50152    80       82          2
88.160.209.62    194.28.101.15    17    30295    29612    246         2
217.20.147.94    91.226.201.232   6     80       49325    1152        2
91.226.201.75    82.145.215.17    6     2192     443      82          2
216.58.214.234   91.226.201.45    6     443      57774    1400        15
194.28.100.106   144.76.5.145     6     50494    80       82          2

Название: Re: netflow
Отправлено: incokeeper от 18 Февраля 2016, 11:34:01
по снмп снимает корректно.

Название: Re: netflow
Отправлено: incokeeper от 18 Февраля 2016, 14:45:44
в общем так, немного взломав себе моск сделал следующее.

разобрал поток при помощи тулзы flow-stat
Код:
# flow-stat -f 18 < /var/db/flows/8888.txt
-f 18 - ключ для исходящих интерфейсов (17 для входящих)

получил:
Цитировать
#  --- ---- ---- Report Information --- --- ---
#
# Fields:    Total
# Symbols:   Disabled
# Sorting:   None
# Name:      Output interface
#
# Args:      flow-stat -f 18
#
#
# interface flows                 octets                packets
#
31          1                     438                   3
30          12519                 121730959             547103
29          25718                 287423234             565075
28          635                   362116                4076
27          55                    24005                 285
26          12168                 1168845403            921386
25          4368                  142898611             119134
24          16056                 1343816854            1022513
21          1018                  5283022               5617
10          407                   157163                1214
9           320                   132679                908
8           1164                  46176887              41811
7           444                   218217                1449
6           367                   142762                1042
1           790                   1067557               17169
0           230                   520059                4160

где (внимание!!! вынос мозга до сих пор не могу вкурить ??? ??? ???)
0 - непонятная хня
1 - sfpplus
6 - sfp5
7 - sfp6
8 - sfp7
9 - sfp8
10 - sfp9
21, 24, 25, 26 - vlan от магистралов висят на sfp2 (которого нету) (2 фула и 2 уаикса) СТАТИСТИКА С НИХ НЕ СНИМАЕТСЯ!!! почему, я хз. ;D ;D ;D
27, 28, 28 - внутренние vlan (висят на бридже, в котором сфп5-9)
30 - это бридж (с него стата снялась, слава яйцам)
31 - еще бридж для лупбэка.

А теперь самое интересное, статистика льется только по направлению МИР, УА-ИКС снамается через файлик, но билинг не парсит (а должен?).
если кто может подсказать, как запилить красиво считалочку (Мир/Украина) буду благодарен.

Название: Re: netflow
Отправлено: Efendy от 18 Февраля 2016, 19:13:25
NoDeny  и в старых версиях и в  plus всегда считал трафик по направлениям, в том числе ua-ix из файла

Название: Re: netflow
Отправлено: fet4 от 18 Февраля 2016, 20:03:30
На линуксе у меня вообще ext_iface   => '65535',

Название: Re: netflow
Отправлено: incokeeper от 18 Февраля 2016, 22:10:30
Цитата: Efendy от 18 Февраля 2016, 19:13:25
NoDeny  и в старых версиях и в  plus всегда считал трафик по направлениям, в том числе ua-ix из файла
Да снимался через файлик. Все решил, виставив приоритет больше на УА чем на Мир.
Всем спасибо.

Название: Re: netflow
Отправлено: asserter от 27 Апреля 2016, 18:02:50
Цитата: vddav от 24 Октября 2014, 17:28:33
можно попросить инструкцию для настройки сенсора на freebsd. чего то не получается
что я делал:
создал ноду 100
Код:
 
/usr/sbin/ngctl -f- <<-SEQ
   mkpeer ipfw: netflow 100 iface0
   name ipfw:100 netflow
   msg netflow: setdlt { iface = 0 dlt = 12 }
   msg netflow: settimeouts {inactive=5 active=60}
   mkpeer netflow: ksocket export inet/dgram/udp
   msg netflow:export connect inet/192.168.20.254:8888
SEQ

что имею в итоге:
Код:
#ngctl list
There are 4 total nodes:
  Name: ipfw            Type: ipfw            ID: 00000001   Num hooks: 1
  Name: ngctl71879      Type: socket          ID: 00000012   Num hooks: 0
  Name: netflow         Type: netflow         ID: 00000003   Num hooks: 2
  Name: <unnamed>       Type: ksocket         ID: 00000004   Num hooks: 1

Код:
# ngctl msg netflow: info
Rec'd response "info" (805306369) from "[3]:":
Args:	{ IPv4 bytes=610047794231 IPv4 packets=820656471 IPv4 records used=42947 fibs allocated=1 Active expiries=7709521 Inactive expiries=43246582 Inactive timeout=5 Active timeout=60 }

в фаере добавил правило c ngtee 100, собственно пакеты летят в ноду, на коллекторе  делал по инструкции оф доки. фаил 8888.txt присутствует не нулевого размераю
По команде flow-print -f6 < /var/db/flows/8888.txt вываливает ипы, порты и т.д.
Код:
 192.168.21.153   194.50.125.67                    3                 144
 192.168.62.8     65.55.92.184                     2                 104
 178.92.171.183   192.168.29.2                     1                  44
 192.168.26.227   2.93.225.124                     3                 152
 192.168.24.121   94.103.226.191                   3                 152
 178.154.131.216  192.168.29.173                   3                 367
плюс в консоли коллектора постоянно лезет:
Код:
usr/local/bin/flow-export: Exported 214650 records
/usr/local/bin/flow-export: Exported 225232 records
/usr/local/bin/flow-export: Exported 221628 records
/usr/local/bin/flow-export: Exported 221506 records
/usr/local/bin/flow-export: Exported 209239 records
/usr/local/bin/flow-export: Exported 218953 records

при зауске коллектора  с параметром -v
Код:
Получили данные от netflow:

INSERT INTO X2014_10_24 (uid,iface,class,time,`in`,`out`) VALUES ... (rows: 4)

UPDATE users_trf SET traf1=in1+out1
Строк: 5206. Время выполнения sql: 0.0036 сек

UPDATE users_trf SET traf2=in2+out2
Строк: 5206. Время выполнения sql: 0.0034 сек

UPDATE users_trf SET traf3=in3+out3
Строк: 5206. Время выполнения sql: 0.0034 сек

UPDATE users_trf SET traf4=in4+out4
Строк: 5206. Время выполнения sql: 0.0034 сек

SELECT g.grp_maxflow, u.id FROM user_grp g LEFT JOIN users u ON g.grp_id=u.grp WHERE g.grp_maxflow>0 AND u.state<>'off'
Строк: 0. Время выполнения sql: 0.0001 сек

{
  'no_usr_traf' => 0,
  'tm_save_traf' => '0.334206499159336',
  'lines' => 0,
  'tm_start' => '2618913.40391396',
  'size' => 0,
  'err_lines_c' => 0,
  'err_lines' => [],
  'tm_parse' => '4.49782237410545e-05'
};

Получили данные от ipcad:192.168.20.250

Спасибо большое, по вашему примеру когда поставил правильный ext_iface трафик на графике отображается, только не понятно в какое место в правилах ipfw вы поставили ngtee, а то я поставил в самом начале (40е правило) и у меня значения на графике дофига выше реальных.
То есть если реально проходит около 250-300Mb/s (смотрел nload) то показывает ~400

Название: Re: netflow
Отправлено: Pa4ka от 27 Апреля 2016, 20:39:23
Всюду где в фаере стоит diver замени просто на ngtee
420, 450 и 510 у меня они там и верно считает

Название: Re: netflow
Отправлено: asserter от 27 Апреля 2016, 22:37:01
Спасибо, это помого ;D

Название: Re: netflow
Отправлено: skol от 16 Мая 2016, 14:54:46
у кого 2 внешних интерфейса (например вланы) как решили проблему?
можно ли указать через запятую id?

Название: Re: netflow
Отправлено: Efendy от 16 Мая 2016, 15:56:01
Как сеть называется? Можно в личку

Название: Re: netflow
Отправлено: hardman от 16 Мая 2016, 19:50:51
я не решил, у меня не коммерческая сеть , так что пока висит этот вопрос.

Название: Re: netflow
Отправлено: Efendy от 16 Мая 2016, 21:57:35
Цитата: hardman от 16 Мая 2016, 19:50:51
я не решил, у меня не коммерческая сеть , так что пока висит этот вопрос.
Если ты благотворительностью занимаешься и не получаешь денег за обслуживание сети - риспект

Название: Re: netflow
Отправлено: Groov от 31 Августа 2016, 11:16:47
Код:
flow-stat -f 18 < /var/db/flows/8888.txt
#  --- ---- ---- Report Information --- --- ---
#
# Fields:    Total
# Symbols:   Disabled
# Sorting:   None
# Name:      Output interface
#
# Args:      flow-stat -f 18
#
#
# interface flows                 octets                packets
#
737         1                     160                   2
736         82                    7467707               5568
735         9                     3365082               2447
734         103                   10421530              7921
733         15                    13489                 55
731         18                    12134679              8895
730         32                    5268                  68
726         7                     1813                  18
725         112                   2320122               1930
724         437                   369526                2329
723         482                   335311571             240276
720         166                   362703                5530
718         1                     104                   2
670         12                    16531744              11841
644         63                    993640                856
630         2                     6113995               4387
614         7                     6109                  31
612         2                     320                   4
608         10                    1224                  21
607         441                   1137243               2355
602         23                    26734                 103
601         47                    9082364               6845
599         41                    5193704               4190
598         2                     320                   4
597         2                     320                   4
596         739                   21603504              17623
592         5                     28278                 63
575         8                     3200                  19
241         36                    1561293               5005
207         5                     836                   10
33          7                     1284                  15
32          9869                  29950248              237963
15          65                    1174915               930
0           5509                  2303032               35981

Mikrotik
Я не могу понять что за бред у меня целый район не считает трафло. Как решить эту проблему, РЕБЯТ подскажите пожалуйста.
И как понять какой interface вписывать.

Название: Re: netflow
Отправлено: Pa4ka от 31 Августа 2016, 12:18:33
Цитата: Groov от 31 Августа 2016, 11:16:47
Код:
flow-stat -f 18 < /var/db/flows/8888.txt
#  --- ---- ---- Report Information --- --- ---
#
# Fields:    Total
# Symbols:   Disabled
# Sorting:   None
# Name:      Output interface
#
# Args:      flow-stat -f 18
#
#
# interface flows                 octets                packets
#
737         1                     160                   2
736         82                    7467707               5568
735         9                     3365082               2447
734         103                   10421530              7921
733         15                    13489                 55
731         18                    12134679              8895
730         32                    5268                  68
726         7                     1813                  18
725         112                   2320122               1930
724         437                   369526                2329
723         482                   335311571             240276
720         166                   362703                5530
718         1                     104                   2
670         12                    16531744              11841
644         63                    993640                856
630         2                     6113995               4387
614         7                     6109                  31
612         2                     320                   4
608         10                    1224                  21
607         441                   1137243               2355
602         23                    26734                 103
601         47                    9082364               6845
599         41                    5193704               4190
598         2                     320                   4
597         2                     320                   4
596         739                   21603504              17623
592         5                     28278                 63
575         8                     3200                  19
241         36                    1561293               5005
207         5                     836                   10
33          7                     1284                  15
32          9869                  29950248              237963
15          65                    1174915               930
0           5509                  2303032               35981

Mikrotik
Я не могу понять что за бред у меня целый район не считает трафло. Как решить эту проблему, РЕБЯТ подскажите пожалуйста.
И как понять какой interface вписывать.
По всей видимости номер 32.
Пробовал етот номер поставить?
Ну и еще покажи flow-stat -f 17 < /var/db/flows/8888.txt

Название: Re: netflow
Отправлено: Groov от 31 Августа 2016, 13:24:15
Спасибо. точно 32, спасибо за то что носам ткнули )))

Название: Re: netflow
Отправлено: kostya_zpr от 01 Декабря 2017, 12:16:29
Апну тему с несколькими аплинками на одном устройстве.

Мы решили проблему так:
в конфиге коллектора номера интерфейсов перечисляются через запятую:
Код:
                ext_iface   => '8,6,12',       
netflow.pm сравнивает $src_iface и $dst_iface по списку:
Код:
                $res .= $h."2\n" if (",${ext_iface}," =~ /,${src_if},/); # Если в списке ",1,2,3," встречается подстрока /,3,/
                $res .= $h."1\n" if (",${ext_iface}," =~ /,${dst_if},/);
#                $res .= $h."2\n" if $ext_iface == $src_if;
#                $res .= $h."1\n" if $ext_iface == $dst_if;

Название: Re: netflow
Отправлено: Cell от 01 Декабря 2017, 14:04:40
Цитата: kostya_zpr от 01 Декабря 2017, 12:16:29
Апну тему с несколькими аплинками на одном устройстве.

Мы решили проблему так:
в конфиге коллектора номера интерфейсов перечисляются через запятую:
Код:
                ext_iface   => '8,6,12',       
netflow.pm сравнивает $src_iface и $dst_iface по списку:
Код:
                $res .= $h."2\n" if (",${ext_iface}," =~ /,${src_if},/); # Если в списке ",1,2,3," встречается подстрока /,3,/
                $res .= $h."1\n" if (",${ext_iface}," =~ /,${dst_if},/);
#                $res .= $h."2\n" if $ext_iface == $src_if;
#                $res .= $h."1\n" if $ext_iface == $dst_if;
Спасибо, полезно. На заметку.

Название: Re: netflow
Отправлено: elite от 01 Декабря 2017, 14:07:20
просим добавить в официальный модуль

Название: Re: netflow
Отправлено: Efendy от 01 Декабря 2017, 16:14:56
ок

Название: Re: netflow
Отправлено: Pa4ka от 01 Декабря 2017, 23:28:36
Цитата: kostya_zpr от 01 Декабря 2017, 12:16:29
Апну тему с несколькими аплинками на одном устройстве.

Мы решили проблему так:
в конфиге коллектора номера интерфейсов перечисляются через запятую:
Код:
                ext_iface   => '8,6,12',       
netflow.pm сравнивает $src_iface и $dst_iface по списку:
Код:
                $res .= $h."2\n" if (",${ext_iface}," =~ /,${src_if},/); # Если в списке ",1,2,3," встречается подстрока /,3,/
                $res .= $h."1\n" if (",${ext_iface}," =~ /,${dst_if},/);
#                $res .= $h."2\n" if $ext_iface == $src_if;
#                $res .= $h."1\n" if $ext_iface == $dst_if;
Дякую!

Название: Re: netflow
Отправлено: sedo26 от 24 Января 2018, 16:22:22
А если имеем 3 наса, каким образом стартовать?


Код:
/usr/local/bin/flow-capture -R /var/db/flows/netflow_8888.pl -p /var/run/flow-capture/flow-capture.pid -w /var/db/flows -n1 -N0 0.0.0.0/0.0.0.0/8888
/usr/local/bin/flow-capture -R /var/db/flows/netflow_8889.pl -p /var/run/flow-capture/flow-capture.pid -w /var/db/flows -n1 -N0 0.0.0.0/0.0.0.0/8889
/usr/local/bin/flow-capture -R /var/db/flows/netflow_8890.pl -p /var/run/flow-capture/flow-capture.pid -w /var/db/flows -n1 -N0 0.0.0.0/0.0.0.0/8890


в collectors.cfg
Код:
#nas1
            {
                type        => 'netflow',
                port        => '8888',
                flow_base   => '/var/db/flows/',
                capture_pid => '/var/run/flow-capture/flow-capture.pid',
                ext_iface   => '0,1,2,65535',
            },

#nas2
            {
                type        => 'netflow',
                port        => '8889',
                flow_base   => '/var/db/flows/',
                capture_pid => '/var/run/flow-capture/flow-capture.pid',
                ext_iface   => '1,2,65535',
            },

#nas3
            {
                type        => 'netflow',
                port        => '8890',
                flow_base   => '/var/db/flows/',
                capture_pid => '/var/run/flow-capture/flow-capture.pid',
                ext_iface   => '1,2,65535',
            },


При таком запуске и настройках через несколько минут отваливается  любые два netflow_88хх.pl
Подскажите как заставить работать всех вместе (если запускаем один любой - всё работает нормально).

Название: Re: netflow
Отправлено: Cell от 24 Января 2018, 17:24:52
Код:
 flow_base   => '/var/db/flows/
Собирайте в разные каталоги
Код:
 flow_base   => '/var/db/flows/nas1/
 flow_base   => '/var/db/flows/nas2/
 flow_base   => '/var/db/flows/nas3/
Ну и сами скрипты netflow_хххх.pl на эту же тему подшамантье

Название: Re: netflow
Отправлено: sedo26 от 24 Января 2018, 18:06:09
Цитата: Cell от 24 Января 2018, 17:24:52
Код:
 flow_base   => '/var/db/flows/
Собирайте в разные каталоги
Код:
 flow_base   => '/var/db/flows/nas1/
 flow_base   => '/var/db/flows/nas2/
 flow_base   => '/var/db/flows/nas3/
Ну и сами скрипты netflow_хххх.pl на эту же тему подшамантье

Спасибо, помогло.

Название: Re: netflow
Отправлено: sedo26 от 27 Июля 2018, 11:43:52
Во FREEBSD 11.1  данный модуль не работает, в 11.0 - всё нормально.

Название: Re: netflow
Отправлено: md5 от 08 Декабря 2018, 22:24:25
ну ты хоть застрели меня...

Вы говорите нужно внешний интерфейс прописать.
Цитировать
IF-MIB::ifDescr.1 = STRING: ether1
IF-MIB::ifDescr.2 = STRING: ether2
IF-MIB::ifDescr.3 = STRING: ether3
IF-MIB::ifDescr.4 = STRING: ether4
IF-MIB::ifDescr.5 = STRING: ether5
IF-MIB::ifDescr.6 = STRING: ether6
IF-MIB::ifDescr.7 = STRING: ether7
IF-MIB::ifDescr.8 = STRING: ether8
IF-MIB::ifDescr.9 = STRING: ether9
IF-MIB::ifDescr.10 = STRING: ether10
IF-MIB::ifDescr.11 = STRING: ether11
IF-MIB::ifDescr.12 = STRING: ether12
IF-MIB::ifDescr.13 = STRING: ether13
IF-MIB::ifDescr.14 = STRING: vlan2340
IF-MIB::ifDescr.25 = STRING: europa_2a_2b
IF-MIB::ifDescr.26 = STRING: vlan100_ext
IF-MIB::ifDescr.27 = STRING: vlan101_ext
IF-MIB::ifDescr.28 = STRING: europa_2v_2g
IF-MIB::ifDescr.29 = STRING: vlan102_ext
IF-MIB::ifDescr.30 = STRING: vlan103_ext
IF-MIB::ifDescr.31 = STRING: vlan200_nat
IF-MIB::ifDescr.32 = STRING: vlan210_ext

так. вот он... 14й..
Цитировать
flow-stat -f 17 < /var/db/flows/8888.txt
#  --- ---- ---- Report Information --- --- ---
#
# Fields:    Total
# Symbols:   Disabled
# Sorting:   None
# Name:      Input interface
#
# Args:      flow-stat -f 17
#
#
# interface flows                 octets                packets
#
26          170                   206469                626
25          64                    155883                1312
14          672                   854782                16312
0           358                   1873217               1839

flow-stat -f 18 < /var/db/flows/8888.txt
#  --- ---- ---- Report Information --- --- ---
#
# Fields:    Total
# Symbols:   Disabled
# Sorting:   None
# Name:      Output interface
#
# Args:      flow-stat -f 18
#
#
# interface flows                 octets                packets
#
30          38                    1552                  38
29          41                    1680                  41
27          57                    2812                  61
26          209                   486241                795
25          65                    1792403               1625
14          733                   727427                16477
0           121                   78236                 1052

Далее
Цитировать
cat ./collectors.cfg
# Сбор статистики трафика

run    => 0,
period => 60,
detail => 1,    # вести детализацию трафика
round_minutes => 0, # при записи в базу округлять время до стольких минут. 0 - не округлять

list   => [


             {
                type        => 'netflow',
                port        => '8888',
                flow_base   => '/var/db/flows/',
                capture_pid => '/var/run/flow-capture/flow-capture.pid',
                ext_iface   => '14',
             },

#            {
#                type => 'ipcad',
#                addr => '127.0.0.1',
#                rsh => '/usr/bin/rsh',
#            },
#            {
#                type => 'ipcad',
#                addr => '127.0.0.2',
#                rsh => '/usr/bin/rsh',
#            },
],

Углубляться сильно не буду

perl /usr/local/nodeny/nokernel.pl -m=collectors -v

Цитировать
INSERT INTO X2018_12_8 (uid,iface,class,time,`in`,`out`) VALUES ... (rows: 7)

UPDATE users_trf SET traf1=in1+out1
_____: 8. _____ __________ sql: 0.0003 ___

UPDATE users_trf SET traf2=in2+out2
_____: 8. _____ __________ sql: 0.0003 ___

UPDATE users_trf SET traf3=in3+out3
_____: 8. _____ __________ sql: 0.0003 ___

UPDATE users_trf SET traf4=in4+out4
_____: 8. _____ __________ sql: 0.0003 ___

SELECT g.grp_maxflow, u.id FROM user_grp g LEFT JOIN users u ON g.grp_id=u.grp WHERE g.grp_maxflow>0 AND u.state<>'off'
_____: 0. _____ __________ sql: 0.0004 ___

{
  'lines' => 967,
  'tm_save_traf' => '0.0152352500008419',
  'tm_start' => '10713.063981098',
  'tm_parse' => '0.012',
  'no_usr_traf' => 879,
  'err_lines_c' => 0,
  'err_lines' => [],
  'size' => 46215
};


Ну ты хоть убей, а трафик на вкладке "Трафик" не появляться
Куда копать? что смотреть ?

Название: Re: netflow
Отправлено: md5 от 09 Декабря 2018, 21:43:16
Спасибо всем за оперативную помощь!

Перешел на дебиан, и все работает

Название: Re: netflow
Отправлено: Sidius от 15 Марта 2019, 01:44:38
Сделали цену на модуль в 1000 грн. А никакого описания по установке.
Купил модуль - просьба помочь установить и расписать как что и куда делать.
OS - FreeBSD
Спасибо.

Название: Re: netflow
Отправлено: Sidius от 15 Марта 2019, 02:12:00
Цитата: vddav от 25 Октября 2014, 11:55:31
победил!)))
в общем особое внимание на параметр ext_iface в настройках коллектора! у меня он оказался 52)) система с кучей вланов)
по команде ifconfig считаем до интерфейса, либо :
Цитировать
Создаём файл с расширением .c например if_nametoindex.c. В пустой if_nametoindex.c файл добавляем:

#include <sys/socket.h>

#include <net/if.h>

using namespace std;

#include <iostream>

int main(int argc, char **argv)

    {  for (int i = 1; i < argc; i++)

        {  cout << argv << " = " << if_nametoindex(argv) << "\n";

        }

        return 0;

    }

ПЕРЕВОД СТРОКИ В КОНЦЕ ФАЙЛА ОБЯЗАТЕЛЕН

 

Находясь в тойже директории, что и if_nametoindex.c выполняем компиляцию:

# c++ -o if_nametoindex if_nametoindex.c

Появится исполняемый файл, который зелёный если через mc-light на него смотреть. Далее запускаем исполняемый файл:

# ./if_nametoindex "re1" "re2" "lo0"

re1 = 3

re2 = 4

lo0 = 7

Запускается одним или несколькими параметрами через пробел. В качестве параметра в main передаётся имя/имена сетевого/ых интерфейса/ов и в ответ выдаётся соответствующий номер

взято с anteh.ru/notes/freebsd/notes_netflow.html

Не компилируется.

FreeBSD 10.4

c++: warning: treating 'c' input as 'c++' when in C++ mode, this behavior is deprecated
n.c:5:17: warning: using directive refers to implicitly-defined namespace 'std'
using namespace std;
                ^
n.c:13:37: error: no matching function for call to 'if_nametoindex'
        {  cout << argv << " = " << if_nametoindex(argv) << "\n";
                                    ^~~~~~~~~~~~~~
/usr/include/net/if.h:556:16: note: candidate function not viable: no known conversion from 'char **' to 'const char *' for 1st argument; dereference the
      argument with *
unsigned int             if_nametoindex(const char *);
                         ^
1 warning and 1 error generated.

Название: Re: netflow
Отправлено: Sidius от 15 Марта 2019, 02:33:54
Как мне определить что писать в ext_iface????? Неужели это сложно описать в документации либо сделать какую-то понятную утилиту?

Поднял это все на сервере.
Сливают на коллектор два NAS-а.
Трафик перестал считаться
 
Код:
# flow-stat -f 17 < /var/db/flows/8888.txt
...
13          19700                 1313356503            1019001
12          4                     336                   4
10          12                    1120                  14
9           10                    1380                  19
6           5957                  905782333             713075
5           3                     120                   3
0           88                    17044                 211


указал в ext_iface   => '6,13',
(хрен знает вообще что это и зачем оно чисто интуитивно так как там больше всего flows)
нихрена не работает!!!!

Название: Re: netflow
Отправлено: Cell от 15 Марта 2019, 09:10:27
А ты netflow.pm патчил, преджде чем номера интерфейсов через запятую писать? т.к. по дефолту там может быть только один интерфейс

Название: Re: netflow
Отправлено: Warlock от 15 Марта 2019, 09:19:02
Интуитивно угадывать номера интерфейсов - это жесть конечно.

Название: Re: netflow
Отправлено: Cell от 15 Марта 2019, 12:23:03
Цитата: Warlock от 15 Марта 2019, 09:19:02
Интуитивно угадывать номера интерфейсов - это жесть конечно.
Хрень полная конечно, но я как-то приловчился.

Название: Re: netflow
Отправлено: Warlock от 15 Марта 2019, 14:30:32
Цитата: Cell от 15 Марта 2019, 12:23:03
Цитата: Warlock от 15 Марта 2019, 09:19:02
Интуитивно угадывать номера интерфейсов - это жесть конечно.
Хрень полная конечно, но я как-то приловчился.
как по мне, проще по snmp снять номер интерфейса

Название: Re: netflow
Отправлено: vddav от 17 Марта 2019, 09:29:06
Цитата: Sidius от 15 Марта 2019, 02:33:54
Как мне определить что писать в ext_iface????? Неужели это сложно описать в документации либо сделать какую-то понятную утилиту?

Поднял это все на сервере.
Сливают на коллектор два NAS-а.
Трафик перестал считаться
 
Код:
# flow-stat -f 17 < /var/db/flows/8888.txt
...
13          19700                 1313356503            1019001
12          4                     336                   4
10          12                    1120                  14
9           10                    1380                  19
6           5957                  905782333             713075
5           3                     120                   3
0           88                    17044                 211


указал в ext_iface   => '6,13',
(хрен знает вообще что это и зачем оно чисто интуитивно так как там больше всего flows)
нихрена не работает!!!!
я тоже боролся) в начале есть решение - htt://forum.nodeny.com.ua/index.php?topic=2422.msg26703#msg26703

Название: Re: netflow
Отправлено: vddav от 10 Апреля 2020, 15:04:08
продолжим значить тут. трафик писался в отдельную бд. frebsd 10.3, perl5.20, mysql 56, ng_flow_tools хз какая версия. обновил бсд до 12.1 и соответственно порты также:
perl5.30
mysql57
ng версии нет уже, по этому flow-tools-0.68.6_1
чутка поборолся с мускулом в итоге надо
lower_case_table_names=0
Но проблема в следующем - трафик считается не в полном объеме - занижает примерно в 20 раз. при этом flow_capture создает файлы с прежними настройками. мускул - вообще удалил папку mysql в /var/db и /usr/local/etc/ и переустановил. в логах мускула
Код:
Aborted connection 683 to db: 'traf' user: 'root' host: 'localhost' (Got an error reading communication packets)
при запуске коллектора с параметром -vv
Код:
 SELECT g.grp_maxflow, u.id FROM user_grp g LEFT JOIN users u ON g.grp_id=u.grp WHERE g.grp_maxflow>0 AND u.state<>'off'

[10.225242: nokernel.pl(149) tasks.pm::run(70) tasks.pm(70) collectors.pm::chk_collectors(167) collectors.pm::parse_traf(365)]
{
  'err_lines_c' => 0,
  'no_usr_traf' => 5,
  'size' => 238657,
  'tm_save_traf' => '0.523692630000369',
  'tm_parse' => '0.098',
  'lines' => 4709,
  'err_lines' => [],
  'tm_start' => '13510.594691148'
};


Killed

и киляет его в начале новой минуты, наверное так и должно быть?
при этом в процессах есть модуль коллектора, но с другим пидом.
куда копать, что посмотреть?

Название: Re: netflow
Отправлено: md5 от 12 Апреля 2020, 23:56:31
Я б на твоем месте лучше бы с 0ля ось поставил и запустил биллинг. быстрее будет и без глюков

Название: Re: netflow
Отправлено: vddav от 13 Апреля 2020, 16:41:07
это верно, но пока я туда не могу добраться(

Название: Re: netflow
Отправлено: vddav от 20 Апреля 2020, 12:06:42
В общем как и ожидалось после чистовой установки начало считать в полном объеме, причем конфиги использовались те же самые.
но есть момент интересный (он присутствовал и раньше) - с интервалов примерно 50-65 минут есть, как бы, недосчет в одну минуту, прикрепил как выглядит на графике. из запущенных модулей только collector и system_clean(период 24ч). Можно ли что то с этим сделать? как бы не критично, но не эстетично(.

Название: Re: netflow
Отправлено: vddav от 20 Октября 2022, 10:43:35
как можно сделать что б для каждого сателита запускался отдельный модуль. получается ситуация что при подсчете одно ядро уходит в полку процессом collector.pm. таким образом получится распараллеить нагрузку, ну или может еще какой вариант раскидать нагрузку?стоит отдельная машина для подсчета трафика.


Powered by SMF 1.1.20 | SMF © 2006-2009, Simple Machines