Биллинговая система Nodeny

Виснет mikrotik только в связке с биллингом. Закономерности по времени не замечено. 1-2 раза в сутки.
Микротики меняли. думаю проблема не в железе. Версии 4,6 и 3,3.
железо 1) RB 1000.
2) Intel p4 3000  hdd flash 256 Mb
3) intel core 2 quad hdd flash 2Gb
Замечено если отключить правила фаервола (то есть дать доступ всем, шейпер остается работать) созданные для nodeny, зависания исчезают.
микротик при зависании не успевает сохранить лог.
Кто нибудь сталкивался? как вылечить?

У меня видимо похожая ситуация.
Микротик сначало перестает пускать новых абонов в инет ( ошибка при подкл 678)
Потом он просто виснет. При этом на винт идет постоянная запись /чтение.
Ошибок никаких нет.
Периодичность 2-3 дня.
Нагрузка максимум 7 учеток. Трафик максмум 2 Мегабита. ( но правила в аксес листе и в шейпах для ~ 70 абонов ( остальные на другом сателите под  FreeBSD)
Версия 3.30
Железо: Селик 700, сетевые реалтек.

Непохоже. если в правилах больше записей чем учеток на биллинге у тебя нехватает ресурсов микротика. Поставь процессор Pentium он с математикой хорошо дружит. Селерон не годится. А вот зависаний не должно быть вообще.

Как понимать не хватает ресурсов? ПРоц нагружен максимум на 5%, оператива правда не сильно свободна. около 35метров, всего 128.
Добавлю планку. посмотрю результаты

Была подобная ситуация. Тогда на mikrotikе allboys + goodboys было существенно больше за количесво пользователей (в users) *2 . Оказалось что в users_trf были левые записи (тестировали работу и это таблицу не очистили при переходе) - удалил не существующие в users и проблема решилась .   

С листами все в порядке. Лишних записей нет. Сегодня убрал из nofire.pl список allboy в микротике это лишние записи, достаточно goodboy  ну и немного переделал правила фильтра. В итоге список один и тот содержит те адреса которые разрешены. Наблюдаем. Модули для микротика сырые и не продуманные.

Вообще связка довольно сырая, много есть глюков.
vcn у тебя время синхроннизации базы какое стоит?
если 30, то меняй на 3600 спокойно а так и на 8400 можно

менял на разные, но пришлось руками писать скрипты для МТ
в hw_mikrotik меняете таймауты?

Из таймаутов изменил в nofire.pl параметр $NF_t_check=3600
Есть возможность взглянуть на ваши самописные скрипты ?
В данный момент составляю оптимальный алгоритм работы скриптов, хотелось бы учесть все ошибки и недочеты.

удаляет кракозяблики с адреслиста, т.к. они создаются с 0.0.0.0/0

чистим шейпера, если они создаются без ip адреса, т.к.там по дефолту стоит all-interfaces и если биллинг поставить туда 256кбит, то прощай ваш роутер, зажмет ему суммарную скорость на 256кбит по всем интерфейсам

удаляет из адрес-листа фаервола отключеных абонентов.

тоже самое но для листа goodboys

периодически чистит роутер от всех шейперов случайно созданных биллингом.

чистим адрес-листы периодически

вам таймаут помогает, чтобы не создавались даблы шейперов?

Stimels у вас неправильный подход. Надо убрать появления ошибок а не лечить их. Ваш метод только нагружает микротик. Чтоб избежать появления  кракозябликов, мусора в адрес-листах и т.д. необходимо перестать слать их на сам микротик. Примерные наброски таковы: 1. адрес лист только goodboy (возможно 2 листа goodboy для групп с разными направлениями по интерфейсам или маршрутам). для чего создаются allboy мой мозог так и не понял.2. Необходимо удалять ip в списке шейпера который не авторизован. 3. Производить добавление а так же УДАЛЕНИЕ из всех листов на основе ip адресов а не по комментариям, так же перестать отправлять коменты на сам микротик так как это бесполезная инфа которая только зажирает ресурсы  микротика. Ну и тд. Полный и оптимальный список требований для написания скрипта могу предоставить. Для меня тяжеловато самому написать скрипты nofire.pl и hw_mikrotik. Что касается шейпера то добавь в hw_mikrotik после  sub HW_set_queue параметр "=interface=имя внешнего интерфейса" и листах будут создаваться записи только с внешним интерфейсом. По поводу появления мусора в листах такая проблема была. Решена. Связанна с пиковой нагрузкой на сам микротик CPU или плохой связью с  сервером nodeny. В новом алгоритме на микротик будет посылаться намного меньше информации и тем самым он будет разгружен. Поздравляю всех с праздниками 1 мая

все конечно классно и понятно, но я не мега знаток перла, чтобы менять логику hw_mikrotik
шейпер по интерфейсу тоже не получится сделать, потому что используется и pptp и pppoe.

по-поводу таймаутов, я уже поднимал топик и самую основую проблему появление дубляжей решили, но остались косяки, которые я решил костылями.

если обновили логику создания адреслистов и шейперов, это ж замечательно.
жду обновлений.

с праздником!

А кто усовершенствует старый алгоритм? Или уже есть обновления.

Повторюсь, Для меня тяжеловато самому написать скрипты nofire.pl и hw_mikrotik.
могу только дать т.у. Я немного изменил их, но они все равно не отвечают моим требованиям.
Готов оплатить труды по их написанию.

выложи ТУ, а там посмотрим

Создавать под версии микротика 3.3-4.6
1. Создание двух или более листов goodboy1, goodboy2 (для разных групп отличающихся направлениями по интерфейсам или маршрутам)
2. Работать напрямую со списком ip адресов в листах goodboy а не через комментарии (уберет лишнюю передачу данных)
3. Задавать в queues имя соответствующее ip адресу
4. Задавать один (или более) внешних интерфейсов для шейпера.
5. Шейпер должен быть динамический.
6. Добавлять и удалять ip адреса с листов  goodboy и queues синхронно (незачем хранить в листе queues лишние записи так как они все равно обновляются).
7. Синхронизация с Микротиком. Т.е. если пропадет связь/Микротик перезагрузился и др. ситуации - скрипт будет пытаться синхронизироваться пока не получит на Микротике то, что желает видеть.

Выглядит так:
1. Пользователь проходит авторизацию (баланс положительный), скрипт берет инфу о юзере (ip, группа) и отправляет на микротик в листы goodboy и queues ip адрес юзера тем самым разрешая ему работу.
2. Пользователь отключает авторизацию, скрипт удаляет инфу о юзере с листов goodboy и queues ip адрес юзера тем самым запрещая ему работу.
3. На самом микротике создаются правила о маршрутизации групп с goodboy1-3 и фаервольные правила разрешающие или запрещающие (редирект) работу юзера.

Тут это очень нужно, т.к из за того что тик не понимает альтернативные направления я держу роутер под FreeBSD а за ним стоит тик. ( а хочу сделать все на тике)
+1 Если такое возможно

Зачем? можно смотреть в биллинге кто под этим IP

Это тоже мне не понятно,  какого именно шейпера? Тик шейпит по IP, интерфейсы тут причём?

Это как понимать? Он и так динамический ( если в тарифах ноудени включить динам управление скоростью, проверял я лично)

Они и так синхронно добавляются и удаляются

Она  и так есть, но по умолчанию слишком частая что очень грузит тик  и забивает его память.

Это и так сейчас работает как ты описал

Правила можно и самому создать как хочется, т.к их создают только один раз, можно и  в ручную.

P.S
В общем как по мне выше мало что толково написано, кроме того что нужен список с альтернативными направлениями.
А еще список с ИП сайтов которые попадают под альтернативные направления тоже не помешает ( чтоб его задавать на Фре, а с фряхи по апи ноудени этот список загоняет в тик, и синхронизирует.

А вообще если мы говорим как  нужно доработать, я готов высказать пару вариантов доработки.

3. Зачем? можно смотреть в биллинге кто под этим IP
ответ: для удобства и избавления от длинных номеров
4. Задавать один (или более) внешних интерфейсов для шейпера.
Это тоже мне не понятно,  какого именно шейпера? Тик шейпит по IP, интерфейсы тут причём?
Чтоб тебе было понятно посмотри любую запись в queues advanced Interface что у тя там? Думаю что all. а это значит что шейпер работает по всем интерфейсам. Кстати у тебя на тике происходит создание левых записей в листах -именно от этого.
5. Шейпер должен быть динамический
Это как понимать? Он и так динамический ( если в тарифах ноудени включить динам управление скоростью, проверял я лично)
ответ: У меня биллинг- калькулятор, через него трафик не ходит. Все через микротик. У тебя на микротике шейпер динамический? Есть возможность при достижении скачанного юзером скажем 100гиг трафика за определенный период времени ограничить скорость в несколько раз этому юзеру?
Если есть я приобрету.
6. Добавлять и удалять ip адреса с листов  goodboy и queues синхронно (незачем хранить в листе queues лишние записи так как они все равно обновляются).
Они и так синхронно добавляются и удаляются
ответ: С шейпера микротика при откл. авторизации не удаляется запись о скоростях юзера, только перезаписывается. Только расход памяти.
7. Синхронизация с Микротиком. Т.е. если пропадет связь/Микротик перезагрузился и др. ситуации - скрипт будет пытаться синхронизироваться пока не получит на Микротике то, что желает видеть.
Она  и так есть, но по умолчанию слишком частая что очень грузит тик  и забивает его память.
Ответ: Синхронизация с Микротиком должна быть так как подразумевается писать скрипт заново.

Выглядит так:
1. Пользователь проходит авторизацию (баланс положительный), скрипт берет инфу о юзере (ip, группа) и отправляет на микротик в листы goodboy и queues ip адрес юзера тем самым разрешая ему работу.
2. Пользователь отключает авторизацию, скрипт удаляет инфу о юзере с листов goodboy и queues ip адрес юзера тем самым запрещая ему работу.
Это и так сейчас работает как ты описал
Ответ: Не совсем, хотя похоже. Читать mikrotik.txt

На самом микротике создаются правила о маршрутизации групп с goodboy1-3 и фаервольные правила разрешающие или запрещающие (редирект) работу юзера.
Правила можно и самому создать как хочется, т.к их создают только один раз, можно и  в ручную.
Ответ: Да правила создаются вручную один раз, но описать эти правила для других мне не жалко, так как многим тяжело разобраться с тиком.
С нетерпением жду пару вариантов доработки. Так как хотелось бы в итоге получить полноценное управление микротиком.

3. Как по мне это лишняя прихоть
4. Дубликатов нет.. интерфейс all , всего 2 физ интерфейса + 1 PPPoE на прова, и VPN на сервак с биллингом.
5. Статистика снимается по нетфло, и биллингу все равно это фря или тик, он просто обсчитывает и меняет ограничения.
В общем у меня тик удаленно от биллинга, все работает, тем более стоят суточные ограничения.
6. Про перезапись не скажу, когда тестировал, после того как абон откл то его запись удаляется с queues и гуд бойс, правда в алл бойс он остаётся.
7. Я думал модифицировать.

P.S Я и читал mikrotik.txt и оттестировал на серваке с 10 абонами онлайн.
А правила нужно понимать что создавать.. (правда можно и автоматом скопир - вставил), я их создаю через винбокс поэтому преобразовать в команду в строчку пока не могу, но если захотеть...

свыше 250 человек, микротик начинает тупить.
в allboys всегда будут все, для того он и allboys

когда стоит all-interfaces это дает нагрузку больше, чем когда стоял бы разный интерфейс.

шейпера не удаляются, об этом было заявлено в документации.
динамический шейпер, это нечто не то что вы подумали.
он находится только в памяти, при ребуте роутера, он исчезнет.
динамический шейпер появляется например при работе через PPP, когда установлены лимиты на сессию.
он тогда с префиксом D появится.
работает с default-small типом очереди

адрес-листы плохо чистятся изза медленной отдачи данных микротиком.

ТУ описали верно, подтвержаю траблы.
хотя у меня немного иное ТУ, которое не решил даже с помощью костылей

Интерфейсов 5 из них 2 vlan будет больше так как скоро запустим 3 канал в мир. в онлайне 200-300 чел постоянно.
По поводу динамического шейпера: Скрипт выгребает из баз данных инфу о трафике юзера с 1 числа месяца и если он достиг определенной велечины то занижаем скорость.
Кастрированием скриптов избавился от листов allboys убрал глюк по шейперу (были перепутаны по скоростям прием-отдача), добавил интерфейсы.
Зависания прекратились. 12 дней без ребутов.
С микротиком дружу более 6 лет и по нему у меня нет вопросов.
Но необходимость правильного скрипта осталась.

Если не трудно опишите ваше ТУ. Хотелось бы учесть разные потребности так как придется заказывать написание скриптов, соответственно не бесплатно.

у меня чуть проще ТУ
1.проверка наличия в адрес-листах IP
2.название шейпера, чтобы бралось из логина (ip мы видим в target address)
3.синхронность шейперов и адрес-листов (удаление и добавление)

мне нужно чтоб этот скрипт
1) выставлял динамически шэйпы
2) Синхронизировал адрес лист
3) в поле name писался логин клиента (если можно с кирилицей)
4) устранили утечку памяти (или максимально снизили)

мда походу заглохло  >:(

я смотрю в сторону перехода на freebsd 7.3 в качестве BRAS

а что останавливает?

Очень-приочень здравая мысль. Одобрямс!

останавливает, что всю жизнь провел с линуксами.
хотя теорию, принципы и работу протоколов я очень хорошо знаю

сейчас достаточно быстро собрал тестовую фрю 7.3
пересобрал ядро с поддержкой всех благ типо pf, altq и.т.д, убрал ненужное  в виде файрваров, рейдов.

поднял mpd5 с радиусом.
все красиво подключается, радиус выдает Ip и все такое.
сателит прекрасно работает :)

маааленькая трабла только нарисовалась.
тазик древний, rl0 не тегирует пакеты.
в ядре включена поддержка, в rc.conf все загружается и интерфейсы создаются, но чето вот пакеты не тегируются.
я бы грешил на карточку, но раньше на этом тазуаре стоял линукс и все тегировалось.

пока не разбирался, но впринципе меня фря полностью устраивает  ;D

Доброго времени суток.
Есть или будут продвижения по сабжу? :)

to stimels при больших нагрузках rl лучше не использовать, т.к. у сетевой маленький буфер..да и сама работает не очень..лучше fxp..

дада, уже стоят интелячие fxp парочка.

поднял на pf нат
осталось правильно разрулить скрипты файрвола для биллинга и шейпер

кстати загрузка процессора на 30 мбит VPN интернет торрентов со 128битным шифрованием составила 0%
процессор 3Ghz Celeron
почему так - хз )

сделайте нормально хотя бы то что есть, а не костыли городить.

походу заглохла тема

все работает что нужно.
уже обсудили почти все, кроме шейперов не для Ppp

Выкладываю скрипт для Mikrotikа. Кто силен в перле разберетесь. Нужно несколько таблиц добавить в мускул + веб управление дописать.
И все будет работать как часики.
Все самое главное в скрипте начинается с строки 60 по 81.

Нашел тут.

http://nodeny.googlegroups.com/web/agregacia.jpg (http://nodeny.googlegroups.com/web/agregacia.jpg)

http://nodeny.googlegroups.com/web/Segment.jpg (http://nodeny.googlegroups.com/web/Segment.jpg)

ух как навернуто с маркировками пакетов и глобальными деревьями  :o

Но все-таки работает как надо. :D

люди плз а может кто довести до ума и дать потестить больно интересно

я сделал все что мне нужно было
динамические шейпера для Ppp и правильно работающий адрес лист

По адресу 194.0.157.130 можно посмотреть визуально работу. Такое и у нас управляет микротиками. Зайти Winbox   Login: test   Password: test

без файрвола, шейпера, с включенным телнетом.
хаченая 2.9.27
что нужно смотреть?

Смотреть нужно как работает с маркировками пакетов и глобальными деревьями: Queue Tree , Firewall, Mangle, Adres List... (так работает mikrotik.pl) , а так больше ничего. Это тестовая машинка, могу завтра если хочешь, на 4.11 или 5,06 запустить.

неудивительно почему CPU Load 100% :)
слишком нагородил маркировок

Потому что стоит на платформе WRAP.2C 1 LAN (проц 266). Ну очень слабенькая платформа... ;). Это все-таки просто наглядное пособие... ;)  Не буду же я пускать на рабочий роутер всех 8)

ого... без адресс листов но столько мороки.

может кто решится под заказ исправить проблемы с МТ? создание дубликатов, кривых шейпов..
+ создание дополнительного шейпа на определенную подсеть? в лс

так проблемы известные - большая нагрузка на проц при использовании апи или ссш.
берите проц с запасом или вводите задержку.

Кто то ставил 2 микротика и больше, как ими управлять нодени ???

А денег сколько за рабочий модуль ????

Да вроде он рабочий, только поработать над ним чуток нужно, типа ssh ключи + добавить несколько полей в базу (в первых строках кода видно какие) + страницу дописать чтоб легко управлять можно было. Спрашивай у гуру форума, может кто доделает до финального конца. Чуваку спасибо выложил бесплатно, смотри прикрепленный файл (пост от HeLper от 19 Август 2010, 01:53:18 http://forum.nodeny.com.ua/index.php?action=dlattach;topic=642.0;attach=411 (http://forum.nodeny.com.ua/index.php?action=dlattach;topic=642.0;attach=411))
 

я старый допилил под себя.
но у МТ есть баги при работе с адрес листами, когда их тыщенка...файрвол не всегда срабатывает

Тогда выкладывай, может что другим пригодится...

обязательно проверяйте пути к файлам...
ну и логин пароль к api + к sat.cfg
black это у меня название сателита

400 юзеров работает без проблем на этом сателите
дублирующие Ip в адрес листах не создаются

а для того чтобы шейпера автоматом удалялись после отключения по ppp, нужно переделать процедуру.
на форуме тоже выкладывал готовую.
для статических записей, я бы мт не рекомендовал...

http://rghost.ru/3086867

Можно закинуть на другой хостинг ато не могу скачать

и ещё прозьба раскажи что конкретно переделанно

http://www12.zippyshare.com/v/6359245/file.html
не помню, летом занимался еще с микротиком

Спасибо огромное, вот только мне немного не понятно если у меня не 1 микротик а больше как быть ???

всё разобрался как на несколько МК делается :)

Если не сложно, поделитесь, очень актуален вопрос!

Вот появилась проблема, когда больше одного такого модуля запускается, то запускается только один, второй, идущий по порядку в rc.d за ним выдаёт фразу "Получен сигнал перезапуска скрипта" и выгружется из памяти. Вручную после загрузки системы он запускается и работает нормалаьно.
Попытался разделить запуски этих скриптов, добавив SLEEP 120 , а нет ли другого решения?

Перзалей плиз.

ммм...пардон, уже давно ушел от микротика.
ничего не осталось

на что перешел, и чего ушел?
Я сам думаю или на фрю или на тик.
Выбрал тик,т.к мне нужно терминировать около 6 конектов пппое,л2тп, дшсп... зоопарк в общем.
Которые могут не конектятся, или конект есть инета нет, или сесии подвисают.

Но попробовал настроить на FreeBSD понял что там хорошо когда настроил и забыл, но когда ломается то вычислять проблемно.

ушел на бсд 7.3
аптайм с момента старта
все автоматизировано и работает как часики

Ядрена качерышка.... )))) Закройте врата ада, погасите свет....