Печать страницы - Netflow спалил мне моск.

Доброй ночи коллеги!
Нужен пинок под зад или свежая точка зрения.

Стоит фря 11.1 с последними апдейтами.
Нодени плюс рулит микротиком. ДХЦП + 82 опция.

Стату с микротика снимал через flow-tools-0.68_10
Все нормально работало до перезагрузки, после чего
трафик не отображается в билинге.
Скрипты все отрабатывают, ничего не падает. В дебаге пусто.

Натолкните на мысль. Заранее спасибо.

З.Ы. Радиуса нету. В логах пусто. flow-tools-ng тоже глухо.

Цитата: NoDeny support от 06 Апреля 2018, 23:48:39

В /var/db/flows/ есть дампы?

если файлик типа flow-tools.core интересует, то сейчас пересоберу с дебагом!

flow-tools не падает, в том то и дело, все типа есть - файлики не пустые.
скрипт нодени netflow_8888.pl отрабатывает норм.
модуль коллектора не складывается(((
а трафика нету, хоть усрись.... воюю уже с ним 4 или 5 день....
порты, сорцы, пакеты все перепробовал...

из дампа выудил только

Код:

[code]gdb -q /usr/local/bin/flow-capture /var/db/flows/BORDER/flow-capture.core 
(no debugging symbols found)...Core was generated by `/usr/local/bin/flow-capture -n0 -N0 -R /var/db/flows/BORDER/netflow_8888.pl -w /'.
Program terminated with signal 11, Segmentation fault.
Reading symbols from /usr/lib/libwrap.so.6...(no debugging symbols found)...done.
Loaded symbols for /usr/lib/libwrap.so.6
Reading symbols from /lib/libz.so.6...(no debugging symbols found)...done.
Loaded symbols for /lib/libz.so.6
Reading symbols from /lib/libc.so.7...(no debugging symbols found)...done.
Loaded symbols for /lib/libc.so.7
Reading symbols from /libexec/ld-elf.so.1...(no debugging symbols found)...done.
Loaded symbols for /libexec/ld-elf.so.1
#0  0x0000000000411e9f in fts3rec_pdu_v8_14_decode ()
(gdb)

[/code]

при этом после пересборки с дебагом стал процесс падать!!!!

Цитата: incokeeper от 06 Апреля 2018, 22:20:39

Скрипты все отрабатывают, ничего не падает. В дебаге пусто.

Как это? Как минимум там показывает какие запросы выполнялись... сколько строк обработано... Не может быть там совсем пусто.
Показывает что можуль жив? Запусти модуль ядра коллетора трафика в режиме дебага (-v вместо d&) и посмотри что там пишет.
Обращаю внимание на порт в настройках коллектора. Если на микротике что-то менялось в интерфейсах - его номер мог изменится и проверить его нужно при помощи flow-stat -f17 < 8888.txt

Цитата: Cell от 07 Апреля 2018, 22:19:42

Цитата: incokeeper от 06 Апреля 2018, 22:20:39

Скрипты все отрабатывают, ничего не падает. В дебаге пусто.

откат на 10.4 решил проблему.
теперь буду дальше ломать голову почему перестало работать на 11.1.

з.ы. по запуску колектора в отладке было видно, что строки есть и в базу вносятся...

Если видно что трафик обрабатывается а нифига по факту нет - значит порт выбран не верно. т.е. на старой версии он канал а на новой как-то нумерует по другому. Всего-то нужно было убедится в этом как я писал выше.

Пара Вопросов:
1. Можно ли в ext_iface указывать через запятую несколько интерфейсов, если у меня 6 аплинков, например?
Типа так:

Код:

{
                type        => 'netflow',
                port        => '8888',
                flow_base   => '/var/db/flows/',
                capture_pid => '/var/run/flow-capture/flow-capture.pid',
                ext_iface   => '2, 3, 4, 5, 6, 7',
            },

Чисто ради интереса. не пинайте)))) Или для каждого аплинка свой коллектор?

2. Можно ли при наличии модуля SNMP забирать статистику для модуля коллектора? Если можно, то сколько будет это стоить что бы настроить?

Цитата: incokeeper от 06 Апреля 2018, 22:20:39

Подтверждаю. После переноса биллинга на новый сервер фри 11.1 действительно flow стал вылетать, при чем файл 8888.txt не успевает появится (наверное в момент переименования и вылетает). Ставил также версию 68-9, не помогло. В дампе - пусто также. Пока решения не нашел. Откатываться на 10 не вариант. Может кто поборол сие, подскажите.

Цитата: sedo26 от 25 Июля 2018, 15:38:33

Цитата: incokeeper от 06 Апреля 2018, 22:20:39

тоже апдейтился до 11.1 вылетал после переименования, разбираться долго не захотел, нужно было срочно. Откатил до 11.0

Наверное в netflow (flow-tools) под freebsd 11.1 и 11.2 что-то глобально поменялось.
Надо модуль проверять так как под данными версиями - вылетает.
Выход или биллинг с подсчётом на freebsd 10... устанавливать или пользоваться ipcad -ом.

Цитата: sedo26 от 14 Января 2019, 13:13:39

може простіше через аккаунтінг радіуса знімати?

Цитата: sedo26 от 14 Января 2019, 18:18:00

У меня нас Mikrotik + radius+ dhcp
Аккаунтинг, пишут, на заработает так forum.nodeny.com.ua/index.php?topic=2749.msg28145#msg28145

В последнее время ipcad напрягает сервер, хотел дабы уменьшить нагрузку - перейти на netflow.

трафіка багато?

Цитата: sedo26 от 14 Января 2019, 23:33:30

Пока до 5г, с февраля еще 1,5 добавится, переносим абонов с 49 ноденая

суттєво...
але впевнені, що саме іркад грузить чи може сам модуль який обраховує трафік?
бо в мене вже при 2Г трафіку модуль обраховував зріз трафіку коло 1хв і одне ядро Х5675 було в 100%

Проц на биллинге AMD X8 FX-8350 8 ядер по 4,0ГГц (только биллинг + подсчет)
С утра и до вечера средняя загрузка проца до 15-20%, но в час пик (ещё нету подсчёта ~1Гига микрота, так как не работает нетфлоу) ipcad грузит до 50-70% и уже не успевает считать.

А load average с 0,6 поднимается до 2.

До 19-00 считает нормально по 2мин. Потом подглючивает подсчёт у уже не правильно показывает. Иногда вылетает модуль коллекторс.
Как-то так.

И че? ты думаешь переход на нетфлоу спасет ситуацию? - А вот нифига. Нетфлоу тоже откушивает вполне себе реально ресурсы. Разницы нет никакой, что парсить результаты работы ipcad что netflow. Последний, мне кажется, еще и больше наваливает всякой фигни.
Тут выхода аж три:
-либо ставить еще более мощный сервак (начальный левел)
-либо разделять учет трафика с разных брасов на разных тазах (средний левел)
-либо вообще отказаться от учета трафика (пох на левел)

Цитата: sedo26 от 15 Января 2019, 10:30:18

можете намалювати схему, як ходить трафік, де він обраховується, де розміщена база даних, де працює модуль коллекторс?

Ok

У меня сервер (БД + колекторс) фрибсд 11,2.

Абоны подключены к насам на фрибсд (много насов, отправка статы через ipcad).

В одном насел.пункте есть нас на микроте1036 (остался от ноденай 49),
там нет возможности поставить нас на фряхе.

Сейчас стоит задача переключить с н49 на н+ абонов, авторизация - DHCP opt.82 (они к стати также за насами на микротах1036 находятся).
Для успешного переключения (а именно с мониторингом трафика) вижу как выход поднять 1 машину(на дебиане или фрибсд 10), и перенести на неё подсчёт.
Так как netflow заставить работать на 11.2 пока не получается...

Цитата: WideAreaNetwork от 15 Января 2019, 12:07:48

Цитата: sedo26 от 15 Января 2019, 11:51:16

Написал в личку, что бы не делать чат из переписки.

думаете остальным не интересно?

Відповім тут:

Систему грузить не IPCAD а модуль який рахує трафік.
Відповідно модулю фіолетово хто в нього наливає данні для обрахунку, тут як казав Cell або нарощувати потужність сервера, або розділяти по різним серверам обрахунок трафіку.
Я робив так:
Модуль обрахунку трафіку працює тільки на одному ядрі процесора, тому щоб загрузити потужний сервер
який має досить потужний процесор, дискова підсистема має запас по швидкодії і надійності
використовував віртуалізацію на esxi, одночасно працювало три сервера на яких був запущений модуль коллекторс.
Коли перестало вистачати потужності сервера, перейшов на радіус аккаунтінг.
netflow у мене працював на debian 8 разом з accel-ppp, проблем з ним не було

to sedo26, я б на окремій тестовій машині запустив netflow, щоб провірити чи нічого ні з чим не конфліктує, і вияснити що саме і від чого падає, можливо впливає навантаження

У меня была идея, чтобы каждый нас(фрибсд) считал свой трафик, Стасу это написал, он пообещал подумать.
Это было бы замечательно. Просил Стаса давно правда.

Если же сейчас поднять коллекторс на каждом насе, общая статистика - полная жуть, пишется в разное время и непонятно что (иногда скорость пказывает по абону и до Гигов).

Так как насы на разных версиях фрибсд, есть и 10.
Там (на 10) перед НГ запустил сбор трафика по нетфлоу (но нас сервер старенький и географически далеко, с не сильно хорошим входящим каналом).
Тестирование прошло успешно. С нагрузкой пыхтел, но справился.

Получается собрать опять нас для подсчёта на фре10, установить возле сервера и не мучаться,
но опять же может не хватить ресурсов НАСа (подозреваю в скором будущем).

Желательно, что бы нас сам себе и считал, а если микрот то отправляет на сервер,
или на НАС, который умеет работать с нетфлоу.
Надо продумать алгоритм записи и отображения срезов НАСов...

Цитата: Warlock от 15 Января 2019, 19:10:43

Зачем вам это всё? Собирайте траффик с радиуса.

Подскажите как, все абоны по дхцп с опцией 82. Через радиус получают адреса только абоненты после микрота, через таг +опция82 также.

IPoE на микротике не получится через радиус аккаунтинг заюзать. Единственный способ - это приспособить для этого встроенный в микротик hotspot. Я как-то делал, но там то еще кино, не для слабонервных. Проще действительно netflow юзать на отдельном тазике (или виртуалочках) с учетом того что там всегда только одно ядро юзается на полную катушку.

Биллинговая система Nodeny

Главная категория => Nodeny Plus => Тема начата: incokeeper от 06 Апреля 2018, 22:20:39