свыше 250 человек, микротик начинает тупить.
в allboys всегда будут все, для того он и allboys

когда стоит all-interfaces это дает нагрузку больше, чем когда стоял бы разный интерфейс.

шейпера не удаляются, об этом было заявлено в документации.
динамический шейпер, это нечто не то что вы подумали.
он находится только в памяти, при ребуте роутера, он исчезнет.
динамический шейпер появляется например при работе через PPP, когда установлены лимиты на сессию.
он тогда с префиксом D появится.
работает с default-small типом очереди



адрес-листы плохо чистятся изза медленной отдачи данных микротиком.

ТУ описали верно, подтвержаю траблы.
хотя у меня немного иное ТУ, которое не решил даже с помощью костылей

Если не трудно опишите ваше ТУ. Хотелось бы учесть разные потребности так как придется заказывать написание скриптов, соответственно не бесплатно.

Интерфейсов 5 из них 2 vlan будет больше так как скоро запустим 3 канал в мир. в онлайне 200-300 чел постоянно.
По поводу динамического шейпера: Скрипт выгребает из баз данных инфу о трафике юзера с 1 числа месяца и если он достиг определенной велечины то занижаем скорость.
Кастрированием скриптов избавился от листов allboys убрал глюк по шейперу (были перепутаны по скоростям прием-отдача), добавил интерфейсы.
Зависания прекратились. 12 дней без ребутов.
С микротиком дружу более 6 лет и по нему у меня нет вопросов.
Но необходимость правильного скрипта осталась.

3. Зачем? можно смотреть в биллинге кто под этим IP
ответ: для удобства и избавления от длинных номеров
4. Задавать один (или более) внешних интерфейсов для шейпера.
Это тоже мне не понятно,  какого именно шейпера? Тик шейпит по IP, интерфейсы тут причём?
Чтоб тебе было понятно посмотри любую запись в queues advanced Interface что у тя там? Думаю что all. а это значит что шейпер работает по всем интерфейсам. Кстати у тебя на тике происходит создание левых записей в листах -именно от этого.
5. Шейпер должен быть динамический
Это как понимать? Он и так динамический ( если в тарифах ноудени включить динам управление скоростью, проверял я лично)
ответ: У меня биллинг- калькулятор, через него трафик не ходит. Все через микротик. У тебя на микротике шейпер динамический? Есть возможность при достижении скачанного юзером скажем 100гиг трафика за определенный период времени ограничить скорость в несколько раз этому юзеру?
Если есть я приобрету.
6. Добавлять и удалять ip адреса с листов  goodboy и queues синхронно (незачем хранить в листе queues лишние записи так как они все равно обновляются).
Они и так синхронно добавляются и удаляются
ответ: С шейпера микротика при откл. авторизации не удаляется запись о скоростях юзера, только перезаписывается. Только расход памяти.
7. Синхронизация с Микротиком. Т.е. если пропадет связь/Микротик перезагрузился и др. ситуации - скрипт будет пытаться синхронизироваться пока не получит на Микротике то, что желает видеть.
Она  и так есть, но по умолчанию слишком частая что очень грузит тик  и забивает его память.
Ответ: Синхронизация с Микротиком должна быть так как подразумевается писать скрипт заново.

Выглядит так:
1. Пользователь проходит авторизацию (баланс положительный), скрипт берет инфу о юзере (ip, группа) и отправляет на микротик в листы goodboy и queues ip адрес юзера тем самым разрешая ему работу.
2. Пользователь отключает авторизацию, скрипт удаляет инфу о юзере с листов goodboy и queues ip адрес юзера тем самым запрещая ему работу.
Это и так сейчас работает как ты описал
Ответ: Не совсем, хотя похоже. Читать mikrotik.txt

На самом микротике создаются правила о маршрутизации групп с goodboy1-3 и фаервольные правила разрешающие или запрещающие (редирект) работу юзера.
Правила можно и самому создать как хочется, т.к их создают только один раз, можно и  в ручную.
Ответ: Да правила создаются вручную один раз, но описать эти правила для других мне не жалко, так как многим тяжело разобраться с тиком.
С нетерпением жду пару вариантов доработки. Так как хотелось бы в итоге получить полноценное управление микротиком.

Создавать под версии микротика 3.3-4.6
1. Создание двух или более листов goodboy1, goodboy2 (для разных групп отличающихся направлениями по интерфейсам или маршрутам)
2. Работать напрямую со списком ip адресов в листах goodboy а не через комментарии (уберет лишнюю передачу данных)
3. Задавать в queues имя соответствующее ip адресу
4. Задавать один (или более) внешних интерфейсов для шейпера.
5. Шейпер должен быть динамический.
6. Добавлять и удалять ip адреса с листов  goodboy и queues синхронно (незачем хранить в листе queues лишние записи так как они все равно обновляются).
7. Синхронизация с Микротиком. Т.е. если пропадет связь/Микротик перезагрузился и др. ситуации - скрипт будет пытаться синхронизироваться пока не получит на Микротике то, что желает видеть.

Выглядит так:
1. Пользователь проходит авторизацию (баланс положительный), скрипт берет инфу о юзере (ip, группа) и отправляет на микротик в листы goodboy и queues ip адрес юзера тем самым разрешая ему работу.
2. Пользователь отключает авторизацию, скрипт удаляет инфу о юзере с листов goodboy и queues ip адрес юзера тем самым запрещая ему работу.
3. На самом микротике создаются правила о маршрутизации групп с goodboy1-3 и фаервольные правила разрешающие или запрещающие (редирект) работу юзера.

Повторюсь, Для меня тяжеловато самому написать скрипты nofire.pl и hw_mikrotik.
могу только дать т.у. Я немного изменил их, но они все равно не отвечают моим требованиям.
Готов оплатить труды по их написанию.

Stimels у вас неправильный подход. Надо убрать появления ошибок а не лечить их. Ваш метод только нагружает микротик. Чтоб избежать появления  кракозябликов, мусора в адрес-листах и т.д. необходимо перестать слать их на сам микротик. Примерные наброски таковы: 1. адрес лист только goodboy (возможно 2 листа goodboy для групп с разными направлениями по интерфейсам или маршрутам). для чего создаются allboy мой мозог так и не понял.2. Необходимо удалять ip в списке шейпера который не авторизован. 3. Производить добавление а так же УДАЛЕНИЕ из всех листов на основе ip адресов а не по комментариям, так же перестать отправлять коменты на сам микротик так как это бесполезная инфа которая только зажирает ресурсы  микротика. Ну и тд. Полный и оптимальный список требований для написания скрипта могу предоставить. Для меня тяжеловато самому написать скрипты nofire.pl и hw_mikrotik. Что касается шейпера то добавь в hw_mikrotik после  sub HW_set_queue параметр "=interface=имя внешнего интерфейса" и листах будут создаваться записи только с внешним интерфейсом. По поводу появления мусора в листах такая проблема была. Решена. Связанна с пиковой нагрузкой на сам микротик CPU или плохой связью с  сервером nodeny. В новом алгоритме на микротик будет посылаться намного меньше информации и тем самым он будет разгружен. Поздравляю всех с праздниками 1 мая

менял на разные, но пришлось руками писать скрипты для МТ
в hw_mikrotik меняете таймауты?

Из таймаутов изменил в nofire.pl параметр $NF_t_check=3600
Есть возможность взглянуть на ваши самописные скрипты ?
В данный момент составляю оптимальный алгоритм работы скриптов, хотелось бы учесть все ошибки и недочеты.

Была подобная ситуация. Тогда на mikrotikе allboys + goodboys было существенно больше за количесво пользователей (в users) *2 . Оказалось что в users_trf были левые записи (тестировали работу и это таблицу не очистили при переходе) - удалил не существующие в users и проблема решилась .   

С листами все в порядке. Лишних записей нет. Сегодня убрал из nofire.pl список allboy в микротике это лишние записи, достаточно goodboy  ну и немного переделал правила фильтра. В итоге список один и тот содержит те адреса которые разрешены. Наблюдаем. Модули для микротика сырые и не продуманные.

У меня видимо похожая ситуация.
Микротик сначало перестает пускать новых абонов в инет ( ошибка при подкл 678)
Потом он просто виснет. При этом на винт идет постоянная запись /чтение.
Ошибок никаких нет.
Периодичность 2-3 дня.
Нагрузка максимум 7 учеток. Трафик максмум 2 Мегабита. ( но правила в аксес листе и в шейпах для ~ 70 абонов ( остальные на другом сателите под  FreeBSD)
Версия 3.30
Железо: Селик 700, сетевые реалтек.

Непохоже. если в правилах больше записей чем учеток на биллинге у тебя нехватает ресурсов микротика. Поставь процессор Pentium он с математикой хорошо дружит. Селерон не годится. А вот зависаний не должно быть вообще.

Виснет mikrotik только в связке с биллингом. Закономерности по времени не замечено. 1-2 раза в сутки.
Микротики меняли. думаю проблема не в железе. Версии 4,6 и 3,3.
железо 1) RB 1000.
2) Intel p4 3000  hdd flash 256 Mb
3) intel core 2 quad hdd flash 2Gb
Замечено если отключить правила фаервола (то есть дать доступ всем, шейпер остается работать) созданные для nodeny, зависания исчезают.
микротик при зависании не успевает сохранить лог.
Кто нибудь сталкивался? как вылечить?