Название: flow-tools уже начинают бесить Отправлено: 0xbad0c0d3 от 11 Сентября 2013, 21:28:33 Люди добрые и не очень, но знающие, кто может подробно описать алгоритм работы flow-tools т.к. уже запарился отлавливать баг.
Баг заключается в следующем - траффик на порт флова принимается, flow-capture запущен и даже более того - трафф пишется в БД НО! через 2-3 среза на 3-4, соответственно, ядро говорит: "Не получен траффик от (8888:16)". при этом файл за этот срез в $Nodeny_dir/sql есть, он не пустой, с нормальными правами. Фал так и остается там лежать, пока все место, напару с своими сородичами не забьет. Начал разбираться в чем причина и у меня тупо ступор... каким магическим чудом netflow_8888.pl запускается именно тогда, когда это надо сделать? в ядре на Request_traf создается этот самый netflow_8888.pl, на Check_traf уже проверяется наличие файла с траффом, который и должен быть создан тем самым netflow_8888.pl. А этот netflow_8888.pl запускается демоном flow-capture, судя по ману, раз в день, т.к. запущен он следующим образом: Код: /usr/local/bin/flow-capture -n1 -N0 -R /usr/local/nodeny50.33/netflow_8888.pl -w /var/db/flows -p /var/run/flow-capture/flow-capture.pid .... Код: -n rotations Код: Количество обработанных строк Название: Re: flow-tools уже начинают бесить Отправлено: 0xbad0c0d3 от 12 Сентября 2013, 21:57:36 Если кому интересно, то проблема в скрипте netflow_<flow_port>.pl переписал на баше - Е-bash'е почти в три раза быстрее.
на больших объемах траффика это спасение, если вместо 30сек на perl (если еще отработает) 10 сек. на bash'e Название: Re: flow-tools уже начинают бесить Отправлено: Andrey Zentavr от 13 Сентября 2013, 03:15:01 Если кому интересно, то проблема в скрипте netflow_<flow_port>.pl переписал на баше - Е-bash'е почти в три раза быстрее. дай :)на больших объемах траффика это спасение, если вместо 30сек на perl (если еще отработает) 10 сек. на bash'e Название: Re: flow-tools уже начинают бесить Отправлено: Cell от 13 Сентября 2013, 10:18:10 тоже интересно затестить
Название: Re: flow-tools уже начинают бесить Отправлено: 0xbad0c0d3 от 13 Сентября 2013, 14:58:08 ну что ж, дамы и господа, удалось добиться 6 секунд на экспорт 3794932 записей
Название: Re: flow-tools уже начинают бесить Отправлено: Efendy от 13 Сентября 2013, 15:40:30 А покажи netflow_<flow_port>.pl, неужели я там так неоптимально сделал...
Название: Re: flow-tools уже начинают бесить Отправлено: 0xbad0c0d3 от 13 Сентября 2013, 16:03:20 нууу. у меня не netflow_<flow_port>.pl , а .sh
и там всего пара строчек: Код: #!/usr/local/bin/bash это сегодня, который дает самый быстрый результат, а то, что вчера, то там был обычный flow-export у которого небыло f6, там было перенаправление в пайп awk и одна строка в нем Название: Re: flow-tools уже начинают бесить Отправлено: Andrey Zentavr от 13 Сентября 2013, 16:47:13 А покажи netflow_<flow_port>.pl, неужели я там так неоптимально сделал... Вот так. Код: #!/usr/bin/perl Название: Re: flow-tools уже начинают бесить Отправлено: Andrey Zentavr от 13 Сентября 2013, 16:55:15 нууу. у меня не netflow_<flow_port>.pl , а .sh и там всего пара строчек: Код: #!/usr/local/bin/bash это сегодня, который дает самый быстрый результат, а то, что вчера, то там был обычный flow-export у которого небыло f6, там было перенаправление в пайп awk и одна строка в нем Что-то у меня нет опции -o.... А какая версия у вас? какая фря? Код: FLOW-EXPORT(1) FLOW-EXPORT(1) Я пытался перелопатить sub Count_Traf в nodeny.pl что делает экспорт из файла в БД, но без "use strict" ё**тся можно :( Название: Re: flow-tools уже начинают бесить Отправлено: 0xbad0c0d3 от 13 Сентября 2013, 17:07:32 дык я сомневаюсь, что и формат 6 у Вас есть, в flow-export, в flow-print он есть, но делает он совсем не то [ниже цитата из man flow-print], оно подходит только в том случае, если у вас нет out_int, а если есть... )) 0.68.5.1, версия из портов, только пропатчена под экспорт в формат нодени
Код: -f format Название: Re: flow-tools уже начинают бесить Отправлено: Cell от 14 Сентября 2013, 01:23:55 а дальше? )))
Название: Re: flow-tools уже начинают бесить Отправлено: 0xbad0c0d3 от 14 Сентября 2013, 01:34:28 Тестируется )) Но, кажется, стреляет что надо ))
Название: Re: flow-tools уже начинают бесить Отправлено: Cell от 14 Сентября 2013, 23:07:57 а патч? будет в паблике?
Название: Re: flow-tools уже начинают бесить Отправлено: 0xbad0c0d3 от 15 Сентября 2013, 19:09:28 Патчи нужно положить в /usr/ports/net-mgmt/flow-tools-ng/files и пересобрать пакет make -C /usr/ports/net-mgmt/flow-tools-ng make reinstall clean
Кстати наблюдается забавная ситуация, прекратилось забивание винта траффиком, но остаются файлы, срез которых припадает на бекапирование базы. странно это потому, что ядро сам файл видит и прочитало его, трафф посчитало, но не удалило... оО Размер среза не такой уж и большой - 54Мб Название: Re: flow-tools уже начинают бесить Отправлено: Cell от 15 Сентября 2013, 21:49:32 блин ))) мнеж для дженты надо... ну да ладно... я разберусь )
Название: Re: flow-tools уже начинают бесить Отправлено: 0xbad0c0d3 от 15 Сентября 2013, 23:16:14 Я на арче собирал, так что там все Окай будет
Название: Re: flow-tools уже начинают бесить Отправлено: 0xbad0c0d3 от 16 Сентября 2013, 23:36:00 победить неудаление файлов удалось добавлением очереди на удаление, которая очищается, каждый раз, при запросе траффика, т.е. если, вдруг, из-за нагрузок остался дамп траффа с прошлого среза, то он удалится в текущем
Название: Re: flow-tools уже начинают бесить Отправлено: Cell от 20 Сентября 2013, 02:07:45 0xbad0c0d3, а можешь показать netflow.pl свой? А то я что-то с созданием скрипта башевского запнулся.
Название: Re: flow-tools уже начинают бесить Отправлено: 0xbad0c0d3 от 20 Сентября 2013, 13:37:54 oops
Название: Re: flow-tools уже начинают бесить Отправлено: Cell от 20 Сентября 2013, 15:24:37 |