Трафик

[Efendy]

Я не прошу этого делать, просто логичное такому росту объяснение бы получить, ничего не меняли кроме ната, до его смены таких проблем не было.

Давно я не лез в этот модуль, но вот думаю логически - неправильная настройка наоборот должна приводить к ускорению вычислений.
Допустим, в коллектор попадает левый трафик. Возможно в абсолютно том же количестве, что и раньше, но, допустим после ната он не агрегируется коллектором на абонентов, но тогда он агрегируется на внешний ip nas-а... и это наоборот должно облегчать подсчет за счет отсеивания трафика. Тебе надо проанализировать нет ли резких изменений в начислении трафика. От сюда будем танцевать

[NodenY45]

Я не прошу этого делать, просто логичное такому росту объяснение бы получить, ничего не меняли кроме ната, до его смены таких проблем не было.

Давно я не лез в этот модуль, но вот думаю логически - неправильная настройка наоборот должна приводить к ускорению вычислений.
Допустим, в коллектор попадает левый трафик. Возможно в абсолютно том же количестве, что и раньше, но, допустим после ната он не агрегируется коллектором на абонентов, но тогда он агрегируется на внешний ip nas-а... и это наоборот должно облегчать подсчет за счет отсеивания трафика. Тебе надо проанализировать нет ли резких изменений в начислении трафика. От сюда будем танцевать

Значит сделал коллектор на нетфлоу, но как и до этого разницы никакой в плане времени среза.
Но что я заметил, сделал flow-print сети которая натится на локальном сервере и та которая идет дальше так вот что получается:
В flow локальный PF-nat:

Код:

srcIP(внешний адрес ресурса)            dstIP(внутренний адрес клиента)

В flow внешнего ната:

Код:

srcIP(внешний адрес ресурса)            dstIP(внутренний адрес клиента)
srcIP(внутренний адрес клиента)            dstIP(внешний адрес ресурса)

получается поток в два раза как минимум больше, изза чего такое может быть?

[Efendy]

Трафик двунаправленный, в первом случае одно направление не попадает в коллектор

[NodenY45]

Трафик двунаправленный, в первом случае одно направление не попадает в коллектор

уже увидел.... так и есть, пошла нагрузка, появилось второе направление.

Возможно ли отключить подсчет трафика ЮАИХ таблиц? оставив только шейп на них

[NodenY45]

Трафик двунаправленный, в первом случае одно направление не попадает в коллектор

уже увидел.... так и есть, пошла нагрузка, появилось второе направление.

Возможно ли отключить подсчет трафика ЮАИХ таблиц? оставив только шейп на них

толку никакого, взял уменьшил таблицу юаиха до 8000 - трафик все равно долго считает...
вернул на настройки с доки nodeny по уставновке ipcad

[Efendy]

У ipcad есть хорошая штука как агрегирование. Можно так настроить, чтоб он группу ip-шек и/или сетей воспринимал как одну сеть. Таким образом, если сагрегировать UA-IX  в один ip, то на выходе получим гораздо меньшее количество строк с трафиком и это ускорит подсчет. Так что пробуй читать доку по ipcad.

[NodenY45]

У ipcad есть хорошая штука как агрегирование. Можно так настроить, чтоб он группу ip-шек и/или сетей воспринимал как одну сеть. Таким образом, если сагрегировать UA-IX  в один ip, то на выходе получим гораздо меньшее количество строк с трафиком и это ускорит подсчет. Так что пробуй читать доку по ipcad.

Да, тогдо получается и биллинге надо сменить вместо файла с префиксами на одну подсеть?

Кстати, сейчас начало работать нормально, кроме очередного рестарта айпикада я ничего не делал. В итоге причина непонятна

[Efendy]

Да, тогдо получается и биллинге надо сменить вместо файла с префиксами на одну подсеть?

Не обязательно, эти же ip могут использоваться при нарезке трафика в фаере. Т/е без разницы, главное, что ipcad на выходе выдаст меньше строк для анализа

[NodenY45]

Вот прошло сколько времени, но все равно трафик считает раз в 15 минут, пробовал убирать разделение на уа\мир, без разницы, все равно подсчет меньше по времени не занимает, посоветуйте на что еще посмотреть?
как узнать где узкое место?
процессор на сервере AMD Opteron 6276(nas+nodenyplus).

Код:

last pid: 64981;  load averages:  5.64,  5.78,  6.03                                                                                                                            up 122+12:39:44 19:17:20
50 processes:  3 running, 47 sleeping
CPU:  7.7% user,  0.0% nice,  7.8% system,  4.5% interrupt, 80.0% idle
Mem: 500M Active, 5697M Inact, 1603M Wired, 1452M Buf, 6144M Free
Swap: 4096M Total, 4096M Free

  PID USERNAME    THR PRI NICE   SIZE    RES STATE   C   TIME    WCPU COMMAND
22974 mysql        33  20    0  4028M  1419M uwait  17 533.0H 100.88% /usr/local/libexec/mysqld --defaults-extra-file=/var/db/mysql/my.cnf --basedir=/usr/local --datadir=/var/db/mysql --plugin-dir=
21612 root          2 103    0   134M 83404K CPU28  28 871.7H 100.00% /usr/bin/perl /usr/local/nodeny/nokernel.pl -m=cap -d
21613 root          2  20    0   484M   415M select 15 836.4H 100.00% /usr/bin/perl /usr/local/nodeny/nokernel.pl -m=collectors -d
76136 root          4  52  -15   158M   138M sbwait 23 1652.6  98.83% /usr/local/bin/ipcad -rds -c /usr/local/etc/ipcad.conf
21611 root         52  52    0   446M   192M RUN    21 459.7H  50.88% /usr/bin/perl /usr/local/nodeny/nokernel.pl -m=pingserver -d
21609 root          1  21    0   319M   277M select 16  47.4H   4.69% /usr/bin/perl /usr/local/nodeny/noserver.pl -d
 8719 unbound       1  21    0 74032K 48484K select 29  42.8H   2.29% /usr/sbin/unbound -c/var/unbound/unbound.conf
21608 root          1  20    0 60876K 15276K sbwait 30 266:10   0.00% /usr/bin/perl /usr/local/nodeny/nokernel.pl -d

[Sidius]

Имели похожую проблему на 50-той версии. Убрали из направлений таблицу УА-ИКС, стало считать траф за 5-10 секунд. Месяц - полет нормальный.

Вывод - думаю надо оптимизировать алгоритм обсчета трафика.

[NodenY45]

Имели похожую проблему на 50-той версии. Убрали из направлений таблицу УА-ИКС, стало считать траф за 5-10 секунд. Месяц - полет нормальный.

Вывод - думаю надо оптимизировать алгоритм обсчета трафика.

Удалил файл сетей с настроек биллинга, начало считать раз в минуту как положено, вопрос следующий как теперь отделить мир от украины, чтобы в определенных тарифах шейпить только мир? или получается нужно выбирать или считать нормально трафик, или шейпить мир?