netflow

[hardman]

Обратите внимание на Гб,ГбМб,МбКб,КбБайтКбайт/секКбит/секМбит/сек в правом углу интерфейса nodeny.   я не настаиваю...  но вдруг. 

Уважаемый Efendy, скажите как  указать параметру ext_iface   => '2',   файл /usr/local/nodeny/kernel/collectors.cfg два несколько номеров   внешних интерфейсов , или второй секцией обрабатывать тот же файл ? неужели придется дважды с сенсора на разные порты в разные директории , как на два  устройства ?

[incokeeper]

номер интерфейса можно вычислить логически посмотрев  на дамп нетфлоу, судя по моей доке для н50:

Код:

flow-print < /var/db/flows/ft-v05.2008-12-17.141129+0000

приведите кусок результата здесь и я подскажу

Код:

194.28.101.32    68.227.18.16     17    13255    18939    634         2
194.28.101.50    94.75.25.159     6     47865    27895    240         3
194.28.101.50    194.44.121.155   17    47865    1165     228         3
194.28.101.50    145.249.138.173  6     47865    56785    240         3
194.28.101.50    78.168.188.118   6     47865    52526    160         2
194.28.101.50    109.172.30.38    6     47865    29647    240         3
50.19.124.35     91.226.201.185   6     80       50501    5126        7
194.28.101.50    5.228.251.58     6     47865    40650    152         2
194.28.101.50    194.44.121.155   6     47865    52235    160         2
194.28.101.50    158.181.43.172   6     47865    47330    160         2
194.28.101.50    185.12.225.15    17    47865    48109    228         3
194.28.101.50    83.219.138.151   17    47865    14984    242         2
194.28.101.50    82.135.128.215   17    47865    11855    228         3
194.28.101.50    5.76.70.225      6     47865    62198    160         2
73.70.82.78      91.226.201.145   17    51413    44601    150         2
78.138.133.155   194.28.100.178   17    61542    2404     96          2
194.28.100.178   78.138.133.155   17    2404     61542    96          2
95.213.1.8       91.226.201.75    6     80       2386     104         2
91.226.201.50    216.58.214.238   6     52789    443      4519        6
91.226.201.45    52.0.253.40      6     57481    0        104         2
91.226.201.56    69.194.140.184   6     59953    80       991         10
212.42.77.235    91.226.201.7     6     443      49678    80          2
64.233.165.188   194.28.100.137   6     5228     51312    172         2
208.146.36.47    194.28.100.178   6     80       3329     80          2
91.226.201.218   62.249.146.149   6     51535    28082    156         3
91.226.201.98    217.20.147.94    6     51891    80       3339        8
8.253.81.30      91.226.201.242   6     80       53948    9517586     6359
91.226.201.242   8.253.81.30      6     53948    80       109342      2386
91.226.201.56    69.194.140.184   6     59955    80       895         7
212.122.91.60    194.28.100.178   17    57825    2404     96          2
194.28.100.178   212.122.91.60    17    2404     57825    96          2
194.28.100.127   91.226.201.5     17    23038    53       114         2
91.226.201.5     194.28.100.127   17    53       23038    698         2
91.226.201.53    109.94.198.93    6     11546    60182    4032        7
194.28.100.127   95.213.4.212     6     48956    80       503         4
216.58.214.238   91.226.201.50    6     443      52789    1919        4
5.166.80.44      91.226.201.152   6     30746    34047    2415        21
91.226.201.152   37.23.250.254    6     34047    51231    2726        22
91.226.201.152   5.166.80.44      6     34047    30746    2191        23
217.20.147.94    91.226.201.98    6     80       51891    4921        9
194.28.100.161   94.100.180.59    6     50374    80       80          2
37.151.128.116   194.28.100.178   17    61250    2404     96          2
194.28.100.178   37.151.128.116   17    2404     61250    96          2
94.198.238.37    91.226.201.147   6     50821    21772    96          2
50.19.124.35     91.226.201.185   6     80       50502    2228        5
95.213.4.212     194.28.100.127   6     80       48956    172         3
94.100.180.59    194.28.100.161   6     80       50374    80          2
194.28.100.47    52.28.23.168     6     50304    80       82          2
78.187.168.44    194.28.100.22    6     50851    58416    156         3
77.222.148.121   91.226.201.242   6     80       53857    5473921     3654
77.222.148.121   91.226.201.242   6     80       53863    3027683     2022
91.226.201.242   77.222.148.121   6     53856    80       57776       1268
91.226.201.242   77.222.148.121   6     53861    80       62292       1360
91.226.201.242   77.222.148.121   6     53860    80       92054       2061
192.168.0.1      255.255.255.255  17    1034     1947     136         2
192.168.0.1      255.255.255.255  17    1034     1947     136         2
192.168.0.1      255.255.255.255  17    1034     1947     136         2
192.168.0.1      255.255.255.255  17    1034     1947     136         2
192.168.0.1      255.255.255.255  17    1034     1947     136         2
192.168.0.1      255.255.255.255  17    1034     1947     136         2
77.222.148.121   91.226.201.242   6     80       53856    4181712     2793
77.222.148.121   91.226.201.242   6     80       53858    5642259     3767
91.226.201.242   77.222.148.121   6     53858    80       68834       1533
91.226.201.242   77.222.148.121   6     53863    80       46890       1039
91.226.201.116   216.58.209.195   6     49272    443      82          2
77.222.148.121   91.226.201.242   6     80       53860    7513772     5017
77.222.148.121   91.226.201.242   6     80       53861    4230298     2824
93.84.56.85      194.28.100.178   17    63636    2404     96          2
91.226.201.242   77.222.148.121   6     53857    80       72634       1588
194.28.100.178   93.84.56.85      17    2404     63636    96          2
91.226.201.147   216.58.214.206   6     56293    443      82          2
91.226.201.116   54.183.14.101    6     49381    80       160         4
183.61.254.79    91.226.201.7     17    64969    53       1040        16
91.226.201.7     183.61.254.79    17    53       64969    65968       16
109.94.198.93    91.226.201.53    6     60182    11546    224         5
194.28.100.161   95.213.11.113    6     50351    80       1192        3
216.58.209.195   91.226.201.116   6     443      49272    104         2
52.28.23.168     194.28.100.47    6     80       50304    104         2
128.75.182.191   91.226.201.43    6     51697    46430    96          2
5.141.222.225    91.226.201.218   17    15905    47323    140         2
91.226.201.218   5.141.222.225    17    47323    15905    146         2
91.226.201.61    78.83.48.71      6     58988    63121    96          2
91.226.201.61    176.120.60.198   6     58991    57318    96          2
91.226.201.61    177.177.116.239  6     58990    34507    96          2
91.226.201.61    31.46.247.226    6     58987    43160    96          2
222.102.71.188   91.226.201.145   17    41072    44601    212         2
216.58.214.206   91.226.201.147   6     443      56293    104         2
80.247.45.245    91.226.201.154   17    55457    11062    264         2
54.169.41.155    91.226.201.136   6     80       46542    467         7
91.226.201.98    91.226.201.5     17    59420    53       118         2
192.168.0.250    194.176.97.2     17    56042    53       140         2
95.213.11.113    194.28.100.161   6     80       50351    712         2
194.176.97.2     192.168.0.250    17    53       56042    140         2
192.168.0.250    8.8.8.8          17    49675    53       140         2
194.28.100.161   87.240.131.120   6     50108    443      414         3
14.55.198.170    194.28.100.18    17    3643     53413    58          2
194.28.100.18    14.55.198.170    17    53413    3643     114         2
91.226.201.50    216.58.214.238   6     52787    443      3183        4
82.208.101.232   91.226.201.68    6     54625    64466    96          2
92.38.131.47     91.226.201.62    6     12774    55941    160         2
91.226.201.82    216.58.214.234   6     32972    443      1877        9
103.192.176.194  91.226.201.7     17    4998     53       1040        16
194.28.101.95    185.130.5.224    17    53413    51848    144         2
91.226.201.7     103.192.176.194  17    53       4998     65968       16
91.226.201.218   37.1.132.147     6     51537    65496    1456        8
95.106.204.50    91.226.201.145   17    33895    44601    264         2
86.57.177.41     194.28.100.117   6     53617    48179    156         3
91.226.201.61    93.56.180.196    6     58995    18974    156         3
37.23.250.254    91.226.201.152   6     51231    34047    2769        29
93.79.217.3      91.226.201.147   17    39407    21772    140         2
194.28.100.18    224.0.0.113      2     0        0        64          2
194.28.100.18    224.0.0.113      2     0        0        64          2
194.28.100.18    224.0.0.113      2     0        0        64          2
194.28.100.18    224.0.0.113      2     0        0        64          2
194.28.100.18    224.0.0.113      2     0        0        64          2
91.226.201.152   78.139.167.182   6     80       52593    120         3
91.226.201.152   78.139.167.182   6     443      52592    120         3
95.182.68.62     194.28.100.25    6     52942    40493    96          2
8.8.8.8          192.168.0.250    17    53       49675    236         2
91.226.201.5     91.226.201.98    17    53       59420    418         2
46.174.190.2     91.226.201.30    6     80       56789    80          2
216.58.214.238   91.226.201.50    6     443      52787    801         3
87.240.144.167   91.226.201.211   6     80       57811    592         3
91.226.201.98    217.20.155.12    6     51895    80       789         8
91.226.201.98    217.20.155.12    6     51896    80       749         7
94.141.176.86    91.226.201.62    6     58723    37817    156         3
91.226.201.98    217.20.155.12    6     51897    80       749         7
91.226.201.211   87.240.144.167   6     57811    80       1034        3
2.82.227.129     91.226.201.154   17    50321    6000     258         2
87.240.131.120   194.28.100.161   6     443      50108    1112        2
91.226.201.145   95.106.204.50    17    44601    33895    676         2
216.58.214.234   91.226.201.82    6     443      32972    1148        8
69.194.140.184   91.226.201.56    6     80       59955    2408        6
95.30.238.36     91.226.201.222   6     4804     32675    96          2
217.20.155.12    91.226.201.98    6     80       51895    11090       11
217.20.155.12    91.226.201.98    6     80       51897    8857        9
217.20.155.12    91.226.201.98    6     80       51896    7531        8
91.226.201.30    46.174.190.2     6     56789    80       80          2
91.226.201.242   54.192.95.134    6     53954    443      82          2
183.61.254.79    91.226.201.7     17    56515    53       520         8
91.226.201.7     183.61.254.79    17    53       56515    32984       8
91.226.201.242   8.253.81.30      6     53956    80       5174        101
91.226.201.62    213.230.77.195   6     55918    26967    96          2
54.169.19.239    91.226.201.7     6     80       60200    104         2
217.20.147.94    91.226.201.98    6     80       51156    984         2
37.1.132.147     91.226.201.218   6     65496    51537    1496        9
217.20.155.58    194.28.100.137   6     80       53063    14062       13
91.226.201.62    212.252.20.19    6     55917    57501    96          2
194.28.100.137   217.20.155.58    6     53063    80       520         13
91.226.201.62    46.130.2.219     6     55916    22965    96          2
54.192.95.134    91.226.201.242   6     443      53954    104         2
176.114.191.62   91.226.201.212   17    8328     37903    144         3
8.253.81.30      91.226.201.242   6     80       53956    323173      216
87.117.12.190    91.226.201.62    6     54594    37817    96          2
91.226.201.62    92.38.131.47     6     55941    12774    156         3
46.158.216.44    91.226.201.69    17    48913    50272    264         2
91.226.201.62    85.101.241.128   6     55942    50611    156         3
87.229.214.118   91.226.201.62    6     53289    37817    96          2
37.150.174.163   91.226.201.212   6     61904    37903    156         3
94.100.180.59    194.28.100.200   6     443      50369    182         3
91.226.201.45    216.58.214.234   6     57774    443      9934        16
194.28.100.200   94.100.180.59    6     50369    443      120         3
213.179.252.59   194.28.100.178   17    7736     2315     96          2
194.28.100.178   213.179.252.59   17    2315     7736     96          2
77.45.153.92     91.226.201.62    6     4676     37817    104         2
62.249.146.0     91.226.201.218   17    1954     47323    198         2
91.226.201.218   62.249.146.0     17    47323    1954     534         2
8.8.4.4          192.168.0.250    17    53       62755    294         2
91.226.201.5     194.28.100.112   17    53       11654    272         2
180.97.162.119   91.226.201.7     17    59149    53       1040        16
194.135.154.205  91.226.201.154   6     62316    11062    96          2
91.226.201.7     180.97.162.119   17    53       59149    61845       15
144.76.112.124   91.226.201.7     6     80       49968    38203       30
91.226.201.7     144.76.112.124   6     49968    80       1117        16
91.226.201.81    87.240.183.228   6     50154    80       82          2
91.226.201.81    87.240.181.76    6     50152    80       82          2
88.160.209.62    194.28.101.15    17    30295    29612    246         2
217.20.147.94    91.226.201.232   6     80       49325    1152        2
91.226.201.75    82.145.215.17    6     2192     443      82          2
216.58.214.234   91.226.201.45    6     443      57774    1400        15
194.28.100.106   144.76.5.145     6     50494    80       82          2

[incokeeper]

по снмп снимает корректно.

[incokeeper]

в общем так, немного взломав себе моск сделал следующее.

разобрал поток при помощи тулзы flow-stat

Код:

# flow-stat -f 18 < /var/db/flows/8888.txt

-f 18 - ключ для исходящих интерфейсов (17 для входящих)

получил:

#  --- ---- ---- Report Information --- --- ---
#
# Fields:    Total
# Symbols:   Disabled
# Sorting:   None
# Name:      Output interface
#
# Args:      flow-stat -f 18
#
#
# interface flows                 octets                packets
#
31          1                     438                   3
30          12519                 121730959             547103
29          25718                 287423234             565075
28          635                   362116                4076
27          55                    24005                 285
26          12168                 1168845403            921386
25          4368                  142898611             119134
24          16056                 1343816854            1022513
21          1018                  5283022               5617
10          407                   157163                1214
9           320                   132679                908
8           1164                  46176887              41811
7           444                   218217                1449
6           367                   142762                1042
1           790                   1067557               17169
0           230                   520059                4160

где (внимание!!! вынос мозга до сих пор не могу вкурить )
0 - непонятная хня
1 - sfpplus
6 - sfp5
7 - sfp6
8 - sfp7
9 - sfp8
10 - sfp9
21, 24, 25, 26 - vlan от магистралов висят на sfp2 (которого нету) (2 фула и 2 уаикса) СТАТИСТИКА С НИХ НЕ СНИМАЕТСЯ!!! почему, я хз.
27, 28, 28 - внутренние vlan (висят на бридже, в котором сфп5-9)
30 - это бридж (с него стата снялась, слава яйцам)
31 - еще бридж для лупбэка.

А теперь самое интересное, статистика льется только по направлению МИР, УА-ИКС снамается через файлик, но билинг не парсит (а должен?).
если кто может подсказать, как запилить красиво считалочку (Мир/Украина) буду благодарен.

[Efendy]

NoDeny  и в старых версиях и в  plus всегда считал трафик по направлениям, в том числе ua-ix из файла

[fet4]

На линуксе у меня вообще ext_iface   => '65535',

[incokeeper]

NoDeny  и в старых версиях и в  plus всегда считал трафик по направлениям, в том числе ua-ix из файла

Да снимался через файлик. Все решил, виставив приоритет больше на УА чем на Мир.
Всем спасибо.

[asserter]

можно попросить инструкцию для настройки сенсора на freebsd. чего то не получается
что я делал:
создал ноду 100

Код:

 
/usr/sbin/ngctl -f- <<-SEQ
   mkpeer ipfw: netflow 100 iface0
   name ipfw:100 netflow
   msg netflow: setdlt { iface = 0 dlt = 12 }
   msg netflow: settimeouts {inactive=5 active=60}
   mkpeer netflow: ksocket export inet/dgram/udp
   msg netflow:export connect inet/192.168.20.254:8888
SEQ

что имею в итоге:

Код:

#ngctl list
There are 4 total nodes:
  Name: ipfw            Type: ipfw            ID: 00000001   Num hooks: 1
  Name: ngctl71879      Type: socket          ID: 00000012   Num hooks: 0
  Name: netflow         Type: netflow         ID: 00000003   Num hooks: 2
  Name: <unnamed>       Type: ksocket         ID: 00000004   Num hooks: 1

Код:

# ngctl msg netflow: info
Rec'd response "info" (805306369) from "[3]:":
Args:	{ IPv4 bytes=610047794231 IPv4 packets=820656471 IPv4 records used=42947 fibs allocated=1 Active expiries=7709521 Inactive expiries=43246582 Inactive timeout=5 Active timeout=60 }

в фаере добавил правило c ngtee 100, собственно пакеты летят в ноду, на коллекторе  делал по инструкции оф доки. фаил 8888.txt присутствует не нулевого размераю
По команде flow-print -f6 < /var/db/flows/8888.txt вываливает ипы, порты и т.д.

Код:

 192.168.21.153   194.50.125.67                    3                 144
 192.168.62.8     65.55.92.184                     2                 104
 178.92.171.183   192.168.29.2                     1                  44
 192.168.26.227   2.93.225.124                     3                 152
 192.168.24.121   94.103.226.191                   3                 152
 178.154.131.216  192.168.29.173                   3                 367

плюс в консоли коллектора постоянно лезет:

Код:

usr/local/bin/flow-export: Exported 214650 records
/usr/local/bin/flow-export: Exported 225232 records
/usr/local/bin/flow-export: Exported 221628 records
/usr/local/bin/flow-export: Exported 221506 records
/usr/local/bin/flow-export: Exported 209239 records
/usr/local/bin/flow-export: Exported 218953 records

при зауске коллектора  с параметром -v

Код:

Получили данные от netflow:

INSERT INTO X2014_10_24 (uid,iface,class,time,`in`,`out`) VALUES ... (rows: 4)

UPDATE users_trf SET traf1=in1+out1
Строк: 5206. Время выполнения sql: 0.0036 сек

UPDATE users_trf SET traf2=in2+out2
Строк: 5206. Время выполнения sql: 0.0034 сек

UPDATE users_trf SET traf3=in3+out3
Строк: 5206. Время выполнения sql: 0.0034 сек

UPDATE users_trf SET traf4=in4+out4
Строк: 5206. Время выполнения sql: 0.0034 сек

SELECT g.grp_maxflow, u.id FROM user_grp g LEFT JOIN users u ON g.grp_id=u.grp WHERE g.grp_maxflow>0 AND u.state<>'off'
Строк: 0. Время выполнения sql: 0.0001 сек

{
  'no_usr_traf' => 0,
  'tm_save_traf' => '0.334206499159336',
  'lines' => 0,
  'tm_start' => '2618913.40391396',
  'size' => 0,
  'err_lines_c' => 0,
  'err_lines' => [],
  'tm_parse' => '4.49782237410545e-05'
};

Получили данные от ipcad:192.168.20.250

Спасибо большое, по вашему примеру когда поставил правильный ext_iface трафик на графике отображается, только не понятно в какое место в правилах ipfw вы поставили ngtee, а то я поставил в самом начале (40е правило) и у меня значения на графике дофига выше реальных.
То есть если реально проходит около 250-300Mb/s (смотрел nload) то показывает ~400

[Pa4ka]

Всюду где в фаере стоит diver замени просто на ngtee
420, 450 и 510 у меня они там и верно считает

[asserter]

Спасибо, это помого

[skol]

у кого 2 внешних интерфейса (например вланы) как решили проблему?
можно ли указать через запятую id?

[Efendy]

Как сеть называется? Можно в личку

[hardman]

я не решил, у меня не коммерческая сеть , так что пока висит этот вопрос.

[Efendy]

я не решил, у меня не коммерческая сеть , так что пока висит этот вопрос.

Если ты благотворительностью занимаешься и не получаешь денег за обслуживание сети - риспект

[Groov]

Код:

flow-stat -f 18 < /var/db/flows/8888.txt
#  --- ---- ---- Report Information --- --- ---
#
# Fields:    Total
# Symbols:   Disabled
# Sorting:   None
# Name:      Output interface
#
# Args:      flow-stat -f 18
#
#
# interface flows                 octets                packets
#
737         1                     160                   2
736         82                    7467707               5568
735         9                     3365082               2447
734         103                   10421530              7921
733         15                    13489                 55
731         18                    12134679              8895
730         32                    5268                  68
726         7                     1813                  18
725         112                   2320122               1930
724         437                   369526                2329
723         482                   335311571             240276
720         166                   362703                5530
718         1                     104                   2
670         12                    16531744              11841
644         63                    993640                856
630         2                     6113995               4387
614         7                     6109                  31
612         2                     320                   4
608         10                    1224                  21
607         441                   1137243               2355
602         23                    26734                 103
601         47                    9082364               6845
599         41                    5193704               4190
598         2                     320                   4
597         2                     320                   4
596         739                   21603504              17623
592         5                     28278                 63
575         8                     3200                  19
241         36                    1561293               5005
207         5                     836                   10
33          7                     1284                  15
32          9869                  29950248              237963
15          65                    1174915               930
0           5509                  2303032               35981

Mikrotik
Я не могу понять что за бред у меня целый район не считает трафло. Как решить эту проблему, РЕБЯТ подскажите пожалуйста.
И как понять какой interface вписывать.