Биллинговая система Nodeny

Главная категория => Nodeny Plus => Тема начата: sirglund от 03 Июня 2017, 10:58:34



Название: Проблемма с фаерволом.
Отправлено: sirglund от 03 Июня 2017, 10:58:34
Всем доброго времени суток.

Биллинг на отдельном сервере. Два NASа, mpd+radius, заглушка. Везде FreeBSD. Замечена некорректная работа noserver.pl

Проблемма не постоянная и не у всех. Общих признаков мало.
Суть проблеммы: иногда про оплате в терминалах или банковской картой (иногда без каких-либо признаков, реже при изменении услуги или айпишника)  из таблиц фаервола удаляется айпи клиента. При этом заглушка пишет "Доступ в интернет разрешен..." но интернета соответственно нету.
Решается двумя путями: заблокировать затем разблокировать клиента в админке биллинга или перезапустить noserver.pl на том НАСе где авторизовался клиент.

Поиск по форуму не помог. Может у кого такое было...  Заранее спасибо.   


Название: Re: Проблемма с фаерволом.
Отправлено: sirglund от 07 Июня 2017, 08:51:03
Up :(


Название: Re: Проблемма с фаерволом.
Отправлено: Efendy от 07 Июня 2017, 09:25:08
Проблема на обоих НАС-ах? На каждом из них запущен noserver или трафик идет на центральный и там noserver? На одном сервере один noserver запущен?


Название: Re: Проблемма с фаерволом.
Отправлено: sirglund от 07 Июня 2017, 14:56:11
Да проблемма на обоих. Запущен на каждом. Да по одному

[root@satelit4 /usr/local/nodeny]# ps -ax | grep no
20039 v0- R     4837:21.39 /usr/local/bin/perl /usr/local/nodeny/nokernel.pl -m=cap -d
12230  0- S      233:16.94 /usr/local/bin/perl /usr/local/nodeny/noserver.pl -d
70544  2  S+       0:00.00 grep no
[root@satelit4 /usr/local/nodeny]#

[root@satelit_temp /usr/local/nodeny]# ps -ax | grep no
12926  0- S     10004:46.34 /usr/bin/perl /usr/local/nodeny/nokernel.pl -m=cap -d
77348  2- S       279:23.54 /usr/bin/perl /usr/local/nodeny/noserver.pl -d
92519  4  S+        0:00.00 grep no
[root@satelit_temp /usr/local/nodeny]#


Название: Re: Проблемма с фаерволом.
Отправлено: Efendy от 07 Июня 2017, 21:34:51
Ничего не могу придумать кроме как предположить, что ненадежный канал связи с БД


Название: Re: Проблемма с фаерволом.
Отправлено: ale1975 от 15 Июня 2017, 17:40:27
Все доброго дня! Проблема -раз в неделю (ровно через 6 дней) падает noserver на одном из серверов , какие могут быть причины?


Название: Re: Проблемма с фаерволом.
Отправлено: Warlock от 15 Июня 2017, 19:53:59
Тебе ведь ответили, ищи проблему в сети.. ну или перерой код билинга, может найдешь условие, которое срабатывает раз в 6 дней..


Название: Re: Проблемма с фаерволом.
Отправлено: ale1975 от 15 Июня 2017, 20:14:44
Может и ответили ,но не по моему вопросу  ;D Уточню, что падает носервер именно на сервере где "всё в одном", на других "НАСАХ" всё нормально.


Название: Re: Проблемма с фаерволом.
Отправлено: sirglund от 23 Августа 2017, 14:30:52
Проблемму решить не удалось. Есть ли еще какие либо идеи? Спасибо.


Название: Re: Проблемма с фаерволом.
Отправлено: Tooreagen от 28 Августа 2017, 10:20:24
А какая версия системы и версия mpd ?
Наблюдаю у себя похожую проблему.


Название: Re: Проблемма с фаерволом.
Отправлено: sirglund от 30 Августа 2017, 09:02:38
ядро -  FreeBSD 11.0-RELEASE-p2
NAS1 - FreeBSD 10.3-RELEASE-p18, mpd5-5.7_3
NAS2 - FreeBSD 11.0-RELEASE-p1, mpd5-5.8
NAS3 - FreeBSD 11.1-RELEASE-p1, mpd5-5.8_1

Есть мысли грешить на МПД ? Я думаю проблемма между носервер.пл и ядром. Рестарт носервер.пл решает проблемму, видимо заново "вытягивает" данные из базы. Планирую еще поставить отдельные сетевые на направление НАСы - ядро.


Название: Re: Проблемма с фаерволом.
Отправлено: Tooreagen от 30 Августа 2017, 10:16:14
Может это оно? Подсказали, сейчас как раз буду пробовать.
forum.nag.ru/index.php?/topic/131638-visnet-mpd/&do=findComment&comment=1421949


Название: Re: Проблемма с фаерволом.
Отправлено: ale1975 от 31 Августа 2017, 20:54:22
Есть похожая проблема,на всех серверах с МПД , включая сервер "всё в одном" у некоторых абонов, может у всех, в неопределенное время "пропадает интернет" по их словам, успевает появиться желтый треугольник. При появлении инета -появляется надпись "доступ в инет открыт, введите чето там" .100% это не связано с версией МПД. По ходу абона перекидывает из таблицы в таблицу, как ето отловить?


Название: Re: Проблемма с фаерволом.
Отправлено: sirglund от 04 Сентября 2017, 10:18:59
Очень схоже с моей ситуацией... А у клиентов интернет пропадает и потом сам появляется или появляется после каких-либо действий??


Название: Re: Проблемма с фаерволом.
Отправлено: ale1975 от 06 Сентября 2017, 19:57:38
Да , исчезает, а потом появляется без всяких действий.Пропадает на короткое время , бывает успевает появиться желтый треугольник в винде. В основном замечают онлайн игроки.


Название: Re: Проблемма с фаерволом.
Отправлено: ale1975 от 21 Сентября 2017, 17:33:04
Решил  уйти с ФРИ 9.2  на 11.1, noserver запускается без ошибок , минут через 15-20 у абонов появляются сообщения, типа -доступ открыт , введите чтото в строке, инета конечно нет. Лечится или перезагрузкой -но потом все повторяется или через фаервол открыть всем доступ. У кого работает на 11.1, изменения в noserver не вносили? (на 9.2 работало относительно нормально)


Название: Re: Проблемма с фаерволом.
Отправлено: Pa4ka от 21 Сентября 2017, 19:38:25
Решил  уйти с ФРИ 9.2  на 11.1, noserver запускается без ошибок , минут через 15-20 у абонов появляются сообщения, типа -доступ открыт , введите чтото в строке, инета конечно нет. Лечится или перезагрузкой -но потом все повторяется или через фаервол открыть всем доступ. У кого работает на 11.1, изменения в noserver не вносили? (на 9.2 работало относительно нормально)
Систему обновлял или устанавливал с нуля 11?
Модули nodeny не вытелают?


Название: Re: Проблемма с фаерволом.
Отправлено: ale1975 от 21 Сентября 2017, 19:54:56
Это NAS, устанавливал с нуля, со старого наса
 на 9.2 перетянул папку nodeny , всю. Я так перешел  с 8.4 на 9.2 и всё работало. Иногда падал носервер после запуска с консоли- лечилось перезагрузкой сервера.


Название: Re: Проблемма с фаерволом.
Отправлено: Tooreagen от 22 Сентября 2017, 07:40:30
Есть такая еж проблема (один в один) как у sirglund.
Пропали ip из 21 и 31 таблицы, выключаю-включаю доступ в админке и ip появляется или перезагружаю noserver.pl.
К базе подключено два NASa один работает через DHCP второй через PPPoE MPD5 + RADIUS. Так вот там где PPPoE и есть проблема. То что ненадежный канал связи, я не думаю. Пинг стабильный, не пропадает. Все сервера подключены в один узел агрегации. Систему поставил последнюю:
Код:
FreeBSD nas_2 11.1-RELEASE FreeBSD 11.1-RELEASE #0 r321309: Fri Jul 21 02:08:28 UTC 2017     root@releng2.nyi.freebsd.org:/usr/obj/usr/src/sys/GENERIC  amd64

Кстати! ip пул в биллинге для этого сервера Статический


Название: Re: Проблемма с фаерволом.
Отправлено: ale1975 от 22 Сентября 2017, 08:23:18
Да, получается проблема один к одному, канал связи тоже отбросил, два наса на расстоянии 5 км от биллинга. Один с 9.2 работает,другой после модернизации -проблемы.

у меня net.inet.ip.fw.one_pass:1


Название: Re: Проблемма с фаерволом.
Отправлено: ale1975 от 22 Сентября 2017, 13:09:11
Вообще хочу уйти с фряхи на линукс, но не знаю заработает ли noserver, надо экспериментировать


Название: Re: Проблемма с фаерволом.
Отправлено: Pa4ka от 22 Сентября 2017, 13:36:33
Вообще хочу уйти с фряхи на линукс, но не знаю заработает ли noserver, надо экспериментировать
А что мешат держать билинг на фряхе, а насы на линуксе или чём то еще, радиус никто не отменял
Вот у меня насы на линуксах, есть уже и более года!


Название: Re: Проблемма с фаерволом.
Отправлено: ale1975 от 22 Сентября 2017, 14:00:52
Я так и хочу, нужен аналог мпд для линуха и запустить носервер под линуксом.


Название: Re: Проблемма с фаерволом.
Отправлено: Pa4ka от 22 Сентября 2017, 14:19:54
Я так и хочу, нужен аналог мпд для линуха и запустить носервер под линуксом.
Глянь в сторону accel-ppp и все будет круто, не нужно никаких других сервисов на насе запускать, билинг пускай делает свою работу.


Название: Re: Проблемма с фаерволом.
Отправлено: ale1975 от 22 Сентября 2017, 14:39:42
У меня все насы выходят в инет через общий шлюз, а биллинг в стороне только для управления. Шлюз на линухе.


Название: Re: Проблемма с фаерволом.
Отправлено: Tooreagen от 25 Сентября 2017, 09:44:39
Прошло 3 дня, в таблицах пропало более половины адресов, т.е. они по какой-то причине исчезают и больше не появляются. Помогите пожалуйста.


Название: Re: Проблемма с фаерволом.
Отправлено: ale1975 от 25 Сентября 2017, 16:20:44
Имеется ввиду абоны пппое и их нет в таблицах 21 и31 или вообще нигде нет?


Название: Re: Проблемма с фаерволом.
Отправлено: Tooreagen от 26 Сентября 2017, 08:25:07
Да в таблицах. В базе они есть и авторизованы


Название: Re: Проблемма с фаерволом.
Отправлено: Tooreagen от 26 Сентября 2017, 19:59:17
Уважаемые разработчики! Прошу заняться решением нашей проблемы. Тема актуальна!


Название: Re: Проблемма с фаерволом.
Отправлено: ale1975 от 26 Сентября 2017, 20:45:07
1. Сейчас у вас система с патчами или без? я ставил 3 патча которые должны были по-идее стабилизировать МПД и 1 патч для IPFW .
    сейчас хочу переставить с нуля без патчей.

2.Интересно, что никто не пользует 11.1 с ппое?


Название: Re: Проблемма с фаерволом.
Отправлено: Tooreagen от 27 Сентября 2017, 09:07:22
Так проблема то наверное и не в РРРоЕ, как бы из таблицы фаервола пропадают ip. РРРоЕ работает, абон подключается, т.е. логин и пароль передаются с основного сервера, а вот доступ не работает по причине отсутствия ip


Название: Re: Проблемма с фаерволом.
Отправлено: cojiict от 27 Сентября 2017, 09:12:17
Уважаемые разработчики! Прошу заняться решением нашей проблемы. Тема актуальна!

Так проблема то наверное и не в РРРоЕ, как бы из таблицы фаервола пропадают ip. РРРоЕ работает, абон подключается, т.е. логин и пароль передаются с основного сервера, а вот доступ не работает по причине отсутствия ip

Там немає ніякої проблеми, просто ти не до кінця налаштував все.


Название: Re: Проблемма с фаерволом.
Отправлено: ale1975 от 27 Сентября 2017, 12:04:00
У мене така ж проблема, налаштовував 10 разів, і все працювало, тепер на 11.1 з'явилась така дупа! Можливо це наслідок оновлення системи ?  Прийдеться повертатися на 9.2.


Название: Re: Проблемма с фаерволом.
Отправлено: cojiict от 27 Сентября 2017, 13:59:25
так що чого тут тоді розробники? на local або гугл


Название: Re: Проблемма с фаерволом.
Отправлено: ale1975 от 28 Сентября 2017, 14:49:35
Сегодня установил с нуля 11.1 , после запуска сервера  вылезли абоны которые не попали ни в какую таблицу, но у них светится зеленый ключ в биллинге! У абона в браузере строка- введите там чегото и тд.,инета соотв.нет. Абон делает переконнект - все тоже самое., инета нет. Лечится отключением и включением карточки в биллинге.

Проблема №2 -- при изменении услуги у полностью рабочего абона, его удаляет ,например, из 21 таблицы и никуда не помещает...
Переконнект абона ничего не дает, опять нужно выключать карточку в биллинге.
Почему носервер не перечитывает изменения?

Как это набрать в гуле???


Название: Re: Проблемма с фаерволом.
Отправлено: Efendy от 29 Сентября 2017, 00:53:21
noserver постоянно опрашивает базу и смотрит кто отключился, кто подключился, у кого изменились параметры тарифа и т.д. Поэтому не должно быть ситуаций, что кого-то нет в фаерволе или кто-то там лишний. Все работает стабильно несколько лет и изменений в эту часть я давно не вносил. Если идет рассинхрон, то я могу предположить такой вариант: nofire добавляет и удаляет правила не по одному, а скопом - собирает инфу за несколько секунд, потом пишет серию правил в файл и передает на исполнение ipfw. Если вручную удалить какое-то правило из фаервола, то noserver об этом не узнает (он вообще работает в предположении, что он монопольно управляет ipfw) и когда придет время удаление этого правила в серии, подготовленной nofire, - на этом правиле цепочка прервется и будет еще бОльший рассинхрон, потому что следующие ipfw add не выполнятся - в будущем удаление этих правил приведет к прекращению выполнения цепочки - и т.д. Снежный ком


Название: Re: Проблемма с фаерволом.
Отправлено: ale1975 от 29 Сентября 2017, 14:06:01
Получается что у меня к примеру 5000 абонов и 4 мпд сервака, но носервер мне загонит всю инфу с них на каждый МПД . т.е если у меня на мпд 1000 человек, то в таблицах все равно инфа с 5000 карточек. Многовато наверное? Можно сделать привязку карточек к МПД?


Название: Re: Проблемма с фаерволом.
Отправлено: ale1975 от 29 Сентября 2017, 15:23:18
сейчас ipfw table all list | wc -l   =6000, гдето читал , что при таком колличестве записей ipfw глючит.


Название: Re: Проблемма с фаерволом.
Отправлено: Warlock от 29 Сентября 2017, 15:23:46
Получается что у меня к примеру 5000 абонов и 4 мпд сервака, но носервер мне загонит всю инфу с них на каждый МПД . т.е если у меня на мпд 1000 человек, то в таблицах все равно инфа с 5000 карточек. Многовато наверное? Можно сделать привязку карточек к МПД?
Вместо этого количества серверов вы не задумывались купить какой-нить bras?


Название: Re: Проблемма с фаерволом.
Отправлено: ale1975 от 29 Сентября 2017, 15:31:24
я иду по пути -несколько простых серверов на разные направления, дешевле ремонт, если надо потушить один -то страдают не все абоны.


Название: Re: Проблемма с фаерволом.
Отправлено: Efendy от 29 Сентября 2017, 16:05:24
Получается что у меня к примеру 5000 абонов и 4 мпд сервака, но носервер мне загонит всю инфу с них на каждый МПД . т.е если у меня на мпд 1000 человек, то в таблицах все равно инфа с 5000 карточек. Многовато наверное? Можно сделать привязку карточек к МПД?
очень просто: в конфиге noserver.cfg.pm есть параметр ip_tags указывает учитывать только те ip, у которых есть такой тег. Достаточно в админке в настройках пула ip разделить ip по серверам, например, у ip 10.0.0.1 .. 10.0.5.254 будет тег mpd1 или server1. В конфиге прописать
 $ip_tags = 'mpd1' и noserver в фаервол будет записывать только  эти ip 


Название: Re: Проблемма с фаерволом.
Отправлено: Tooreagen от 29 Сентября 2017, 18:13:41
Получается что у меня к примеру 5000 абонов и 4 мпд сервака, но носервер мне загонит всю инфу с них на каждый МПД . т.е если у меня на мпд 1000 человек, то в таблицах все равно инфа с 5000 карточек. Многовато наверное? Можно сделать привязку карточек к МПД?

Да, на всех серваках данные дублируются, но проблема этой темы не в этом. У меня в этой части до 1000 абонов. Как может быть что авторизовано в биллинге 80 человек (по этому NAS), на базе на которой установлен Nodeny в 21 таблице 22 ip абонентов, на NAS в 21 таблице ip  абонентов уже нет.


Название: Re: Проблемма с фаерволом.
Отправлено: ale1975 от 30 Сентября 2017, 08:42:35
Так получается ,что люди даже авторизоваться не могут если их в биллинге нет?


Название: Re: Проблемма с фаерволом.
Отправлено: Tooreagen от 30 Сентября 2017, 08:59:21
Так получается ,что люди даже авторизоваться не могут если их в биллинге нет?
Если их в биллинге нет то они конечно не авторизуються. С чего? Логина и пароля то нету. А у меня они авторизуются, ключик зеленый, интернет у клиента работает, но работает потому как фаервол отключен (allow ip from any to any). Т.е. RADIUS и MPD срабатывает нормально.

Проблема именно в версии 11.1 потому как есть NAS
10.3-RELEASE FreeBSD 10.3-RELEASE #0 r297264: Fri Mar 25 02:10:02 UTC 2016     root@releng1.nyi.freebsd.org:/usr/obj/usr/src/sys/GENERIC  amd64

На нем в таблице есть все ip


Название: Re: Проблемма с фаерволом.
Отправлено: ale1975 от 30 Сентября 2017, 09:11:48
Не, я понял, что у вас за мпд 1000 человек, а авторизовано 80 в биллинге.


Я ушел с 11.1 на 9.2, не победил.Разделю айпи по мпд , чтобы уменьшить таблицы а потом попробую опять.
на 11.1 вроде много изменений в ipfw


Название: Re: Проблемма с фаерволом.
Отправлено: Tooreagen от 30 Сентября 2017, 09:51:09
Не, я понял, что у вас за мпд 1000 человек, а авторизовано 80 в биллинге.


Я ушел с 11.1 на 9.2, не победил.Разделю айпи по мпд , чтобы уменьшить таблицы а потом попробую опять.
на 11.1 вроде много изменений в ipfw

Не правильно поняли))) В биллинге до 1000, авторизованы РРРоЕ 80, есть участок сети с РРРоЕ, остальные DHCP


Название: Re: Проблемма с фаерволом.
Отправлено: Tooreagen от 02 Октября 2017, 11:48:31
Еще обратил внимание в консоль выпадают сообщения:

Код:
notfound: 172.16.21.139/32 0
Line 7: Deleting record failed: record not found
notfound: 172.16.21.139/32 0
Line 5: Deleting record failed: record not found
notfound: 172.16.21.124/32 0
Line 7: Deleting record failed: record not found
notfound: 172.16.30.43/32 0
Line 7: Deleting record failed: record not found
notfound: 172.16.21.124/32 0
Line 5: Deleting record failed: record not found
notfound: 172.16.20.215/32 0
Line 7: Deleting record failed: record not found
notfound: 172.16.20.220/32 0
Line 7: Deleting record failed: record not found
notfound: 172.16.20.220/32 0
Line 5: Deleting record failed: record not found

Это те ip которые потом уже не появляются в таблицах. Что выход только старую версию системы ставить?


Название: Re: Проблемма с фаерволом.
Отправлено: ale1975 от 02 Октября 2017, 11:55:19
Да, на 11.1 тоже заметил такую херню, делал перенаправление вывода информации работы носервер в файл, там были похожие записи, но не разобрался.


Название: Re: Проблемма с фаерволом.
Отправлено: ale1975 от 02 Октября 2017, 12:25:36
Еще вопрос по носервер, если всё работает нормально и вдруг кто-то решил зайти в инет и подключился, носервер должен увидеть это и занести в таблицу ipfw его айпи. Он просто добавляет его или делает сброс правил и заново наполняет таблицы?


Название: Re: Проблемма с фаерволом.
Отправлено: Efendy от 02 Октября 2017, 12:56:09
Еще вопрос по носервер, если всё работает нормально и вдруг кто-то решил зайти в инет и подключился, носервер должен увидеть это и занести в таблицу ipfw его айпи. Он просто добавляет его или делает сброс правил и заново наполняет таблицы?
Просто добавляет. Удаление ip отсутствующего в таблице приведет к ошибке и прервется цепочка выполнения команд (об этом я писал выше)

Код:
Line 7: Deleting record failed: record not found
скорее всего это и есть признак, что была нарушена цепочка.

Можно попытаться понять что именно привело. Для этого в nifire.pm нужно найти строку:

Код:
unlink $file_ipfw;
и закомментировать ее (в начале поставить символ "решетка" - #)

Рестартануть noserver. В итоге, nofire НЕ будет удалять файлы, которые от отправляет на ipfw. Эти файлы должны появляться в папке logs с именами ipfw_число.

Когда мы обнаружим рассинхрон, нам нужно стопануть noserver. После чего по-порядку запускать файлы пока не увидим какой файл не понравлся ipfw:

Код:
ipfw /путь_к_файлу/ipfw_число  
Насколько я помню, нужно указывать полный путь к файлу, иначе ipfw подумает, что это не файл, а команда.

Также важно запускать файлы строго в порядке увеличения числа в имени


Название: Re: Проблемма с фаерволом.
Отправлено: Tooreagen от 04 Октября 2017, 07:24:33
Сделал как говорили. Выпала одна ошибка:
Код:
root@base:/usr/home/sergey # notfound: 172.16.30.43/32 0
Line 7: Deleting record failed: record not found

Образовалось три файла:
Код:
ipfw_1859153.89186555
ipfw_1859224.41242774
ipfw_1859234.45142617

После запуска первого файла выдает такое:
Код:
oot@base:/usr/home/sergey # ipfw /usr/local/nodeny/logs/ipfw_1859153.89186555
18500 deny ip from any to any
46500 deny ip from any to any
60000 deny ip from any to any
32000 deny ip from any to any
05000 skipto 18501 ip from table(21) to table(11)
18501 pipe tablearg ip from table(21) to any
33000 skipto 46501 ip from table(11) to table(31)
46501 pipe tablearg ip from any to table(31)
05001 allow ip from table(41) to table(11)
33001 allow ip from table(11) to table(41)
added: 0.0.0.0/0 0
added: 172.16.30.4/32 1006
added: 172.16.30.4/32 1001
exists: 172.16.30.4/32 1006
Line 29: Adding record failed: record already exists

Больше файлы не запускал.



Название: Re: Проблемма с фаерволом.
Отправлено: Efendy от 04 Октября 2017, 11:30:00
так прикрепи файл /usr/local/nodeny/logs/ipfw_1859153.89186555 (добавь расширение txt)


Название: Re: Проблемма с фаерволом.
Отправлено: Tooreagen от 04 Октября 2017, 14:26:36
прикрепил


Название: Re: Проблемма с фаерволом.
Отправлено: Efendy от 04 Октября 2017, 16:29:35
Все записи дублируются. Никто не вносил изменения в noserver или  nofire?


Название: Re: Проблемма с фаерволом.
Отправлено: Tooreagen от 04 Октября 2017, 19:38:14
Никто ничего не делал 100%. Все настроено согласно инструкции. Могу еще один настроить для проверки


Название: Re: Проблемма с фаерволом.
Отправлено: WideAreaNetwork от 04 Октября 2017, 22:16:19
FreeBSD 11.0-RELEASE-p12
NoDeny rev.462

Доступ в интернет открыт. В адресной строке введите нужный вам сайт.

ipfw table all list | grep ip_abona
тут либо один раз показывает его адрес, я так понимаю либо в 21 либо в 31 таблице, либо вообще не выводится

проблему заметил у тех абонов у которых либо бонус добавлен, либо кредит создан, о отключении и включении учетки я не догадался))) просто отправлял сообщение с принудительным прочтением, и когда абон нажимал "Прочитал внимательно" доступ открывался, либо ребут сервака, что очень не кошерно, это как-то лечится?



Название: Re: Проблемма с фаерволом.
Отправлено: Efendy от 04 Октября 2017, 23:01:24
Никто ничего не делал 100%. Все настроено согласно инструкции. Могу еще один настроить для проверки
Я разобрался в чем у тебя бок. Ты зачем врубил "всегда онлайн" в учетках абонов, при этом они авторизуются? Либо одно либо другое должно быть. А так, конечно, я сделаю защиту от такого


Название: Re: Проблемма с фаерволом.
Отправлено: Efendy от 04 Октября 2017, 23:05:32
тут либо один раз показывает его адрес, я так понимаю либо в 21 либо в 31 таблице, либо вообще не выводится
еще есть 41 таблица - в нее попадают те, у кого скорость 100 мбит (или другая, выше той, которая в конфиге называется "скорость, начиная с которой шейп не применяется")


Название: Re: Проблемма с фаерволом.
Отправлено: WideAreaNetwork от 05 Октября 2017, 07:52:21
FreeBSD 11.0-RELEASE-p12
NoDeny rev.462

Доступ в интернет открыт. В адресной строке введите нужный вам сайт.

ipfw table all list | grep ip_abona
тут либо один раз показывает его адрес, я так понимаю либо в 21 либо в 31 таблице, либо вообще не выводится

проблему заметил у тех абонов у которых либо бонус добавлен, либо кредит создан, о отключении и включении учетки я не догадался))) просто отправлял сообщение с принудительным прочтением, и когда абон нажимал "Прочитал внимательно" доступ открывался, либо ребут сервака, что очень не кошерно, это как-то лечится?



еще одно вылезло, когда списывается кредит у абона тоже пропадает инет, баланс у него плюсовой так как во время кредита пополнил его, ipfw table all list | grep ip_abona - вообще пусто
и как выше писали помогает отключение/включение


Название: Re: Проблемма с фаерволом.
Отправлено: WideAreaNetwork от 06 Октября 2017, 17:15:37
если все выполнить по инструкции "Ответ #49" (Извините, вы не можете размещать ссылки!) - это поможет найти проблему? или все таки дело во FreeBSD 11.0? и другого варианта как перейти на 10.3 нету?


Название: Re: Проблемма с фаерволом.
Отправлено: Tooreagen от 06 Октября 2017, 18:45:21
И даже 10.3 не поможет, т.к. стояла. Скорее всего 9.3


Название: Re: Проблемма с фаерволом.
Отправлено: ale1975 от 06 Октября 2017, 19:40:38
Основная причина перехода на 11.1 - замечания Eugene Grosbein о высоконагруженых серверах MPD, в которых основные проблемы, приводящие к спонтанным перезагрузкам, устранены только с 11.1 и то только с его патчами, которые не вошли в этот релиз. В версиях ниже - проблема замирания MPD, когда на рабочем мпд не проходят новые подключения. Но на 11.1 проблема -noservera.


Название: Re: Проблемма с фаерволом.
Отправлено: Warlock от 06 Октября 2017, 21:29:38
Извиняюсь конечно, но на сколько должен быть нагружен mpd, чтоб он "замер" ? У вас 10g карта в сервере и там гоняется этот весь трафик? Врятли. У меня до этого на 8 фре легко 800 mbps прогонялось через mpd.


Название: Re: Проблемма с фаерволом.
Отправлено: WideAreaNetwork от 06 Октября 2017, 21:48:29
9.3 .... ну это как в прошлый век, и мпд тут не причем, у меня его нету и тоже траблы, думал может скрипт сделать который будет рестартовать носервер, но это тоже бредово, ибо инет будет вылетать на пару минут после полуночи, а ребут так это обрыв инета у всех и на немаленький период


Название: Re: Проблемма с фаерволом.
Отправлено: ser970 от 06 Октября 2017, 22:21:45
Извиняюсь конечно, но на сколько должен быть нагружен mpd, чтоб он "замер" ? У вас 10g карта в сервере и там гоняется этот весь трафик? Врятли. У меня до этого на 8 фре легко 800 mbps прогонялось через mpd.
наверное имелось ввиду не совсем то...

не важно насколько нагружен mpd и это проблема именно 10 и 5.7 mpd.
частично решалась  log +all  - вернее не то что решалась , просто mpd не так часто отказывался поднимать сессии - поднятые сессии работали как положено. на рестарт не отвечал -  kill -9   процесс умирал а сессии продолжали висеть ....
решалось откатом на 9.3  или 10.3 стейбл + 5.8 мпд + пачи.
но все это касается только мпд и 10.х  = днцп  живет нормально. и к билингу не имеет никакого отношения.....



Название: Re: Проблемма с фаерволом.
Отправлено: ale1975 от 07 Октября 2017, 08:26:43
Да я имел ввиду MPD,до 1гбит/с проблем нет, но примерно после 1.3 начинались спонтанные всплески загрузки проца и соответственно хаотичный ребут. Тюнинг не помог. В итоге  пришлось лепить кучу мпд по 1гбит/с. Думал 11.1 решит проблему , но тут другая проблема


Название: Re: Проблемма с фаерволом.
Отправлено: WideAreaNetwork от 07 Октября 2017, 09:50:16
напишите пжл кто-нибудь скрипт sh для перезагрузки noserver, такого содержимого:
Код:
kill -9 `ps axu | grep noserver | grep -v grep | awk '{ print $2 }'`
пауза 5сек
cd /usr/local/nodeny
perl /usr/local/nodeny/noserver.pl -d &
пауза 30сек
kill -9 `ps axu | grep noserver | grep -v grep | awk '{ print $2 }'`
пауза 5сек
cd /usr/local/nodeny
perl /usr/local/nodeny/noserver.pl -d &
пауза 30сек
kill -9 `ps axu | grep noserver | grep -v grep | awk '{ print $2 }'`
пауза 5сек
cd /usr/local/nodeny
perl /usr/local/nodeny/noserver.pl -d &
пауза 30сек
kill -9 `ps axu | grep noserver | grep -v grep | awk '{ print $2 }'`
пауза 5сек
cd /usr/local/nodeny
perl /usr/local/nodeny/noserver.pl -d &


Название: Re: Проблемма с фаерволом.
Отправлено: Efendy от 07 Октября 2017, 11:12:41
Не надо перезагружать noserver. Это лечение головной боли отрубанием головы. Все что делает noserver - это периодически смотрит в базу и посылает в ipfw команды либо удаления либо добавления правил. Если есть проблемы с состоянием фаервола, то причиной могут быть:
1) на самом деле все нормально и вы не понимаете, что по текущим условиям ip не должен или должен быть в ipfw. Тут важно понять, что нет смысла смотреть в какие-то модули, кредит там или иной. Ip появится в фаерволе при таких условиях:
- у абона в учетке есть ip
- учетная запись не заблокирована
- у абонента подключен тариф дающий интернет
- ip авторизован (зеленый ключик) ИЛИ у него учетка в состоянии "всегда онлайн"
повторяю: нет смысла смотреть в модули, надо смотреть исключительно на учетку - если все требования, указаны выше, выполняются, а в ipfw нет  соответствующего правила, то переходим к пункту 2
2) на всякий случай проверяем, что мы ищем ip в нужных таблицах ибо я уже отмечал выше - если у тарифа стоит скорость 100 мбит, то nofire запишет ip в другую таблицу (вроде 41). Если все таки мы уверены, что ip нет в ipfw, а должен, то
2.1) проверяем, что не падает ipfw при выполнении серии правил, записанных в файл - я несколько постов назад писал что нужно делать (закомментировать удаление этих файлов)
2.2) запускаем noserver с ключом -v и смотрим какие он правила пытается добавить/удалить. Как только видим, что что-то не то - пишем в форум.  Конечно, если у вас абонов много, то noserver выдаст много инфы, поэтому можно его запустить только для нескольких ip - в настройках указать, что будут обрабатываться только ip с определенным тегом и этот тег в админке проставить нескольким ip на которых будете тестить


Название: Re: Проблемма с фаерволом.
Отправлено: WideAreaNetwork от 07 Октября 2017, 11:40:21
Не надо перезагружать noserver. Это лечение головной боли отрубанием головы.
зато убирает другую головную боль утром, когда начинают звонить что после полуночи пропал инет  ;D

Код:
Удален кредит 96.8 грн, был создан 04.10.2017 15:06	адм: admin	07.10.2017 00:02	info
Удален кредит 80 грн, был создан 04.10.2017 11:43 адм: admin 07.10.2017 00:02 info
Удален кредит 80 грн, был создан 03.10.2017 19:39 адм: admin 07.10.2017 00:02 info
Удален кредит 80 грн, был создан 03.10.2017 12:39 адм: admin 07.10.2017 00:02 info
Удален кредит 80 грн, был создан 02.10.2017 17:52 адм: admin 07.10.2017 00:02 info
Удален кредит 985 грн, был создан 02.10.2017 11:14 адм: admin 07.10.2017 00:02 info

команда
Код:
ipfw table all list | grep ip_abona
не находит ничего

2.1) проверяем, что не падает ipfw при выполнении серии правил, записанных в файл - я несколько постов назад писал что нужно делать (закомментировать удаление этих файлов)
это попробую сделать


Название: Re: Проблемма с фаерволом.
Отправлено: ale1975 от 07 Октября 2017, 20:49:27
Можете выложить с 11.1 sysctl -a | grep ip.fw  ?


Название: Re: Проблемма с фаерволом.
Отправлено: WideAreaNetwork от 09 Октября 2017, 07:10:24
нашел еще одно, может ли быть причиной из-за указанных опций в ядре системы FreeBSD 11.0-RELEASE-p12?
Код:
options         IPFIREWALL
options         IPDIVERT
options         DUMMYNET
или я бред несу? :)
уж лучше спросить ИМХО


Название: Re: Проблемма с фаерволом.
Отправлено: ale1975 от 09 Октября 2017, 15:39:44
Я собирал ядро с этими опциями и загружал модулями при загрузке -один хрен.


Название: Re: Проблемма с фаерволом.
Отправлено: WideAreaNetwork от 10 Октября 2017, 07:32:47
Цитировать
Когда мы обнаружим рассинхрон, нам нужно стопануть noserver. После чего по-порядку запускать файлы пока не увидим какой файл не понравился ipfw
к сожалению или к счастью у меня не происходит рассинхрона, проблема происходит именно в полночь после списания кредитных средств

и может там человек вводить все что захочет, ему постоянно заглушка выкидывает такое
Цитировать
Доступ в интернет открыт, в адресной строке введите нужный вам сайт.


Название: Re: Проблемма с фаерволом.
Отправлено: Efendy от 10 Октября 2017, 10:08:27
когда такое случится, запусти:

Код:
perl noserver.pl -u=id_абонента -v

через 20 секунд нажми ctrl+c и скопируй в файл все что показало на экране, после чего прикрепи его в эту ветку


Название: Re: Проблемма с фаерволом.
Отправлено: Tooreagen от 13 Октября 2017, 08:31:18
Проблема в том что это не проблема MPD, есть пару десятков абонентов которые включены напрямую к базе и авторизуются по DHCP. Ситуация у них та же...


Название: Re: Проблемма с фаерволом.
Отправлено: WideAreaNetwork от 13 Октября 2017, 08:50:50
я же выше писал, что вообще не использую MPD и у абонов такое выскакивает :)
пока только есть запись по uid одного абона, для статистики соберу несколько, но это начало месяца


Название: Re: Проблемма с фаерволом.
Отправлено: Tooreagen от 18 Октября 2017, 06:09:29
Скажите какую систему поставить? Ибо это уже жестко напрягает...


Название: Re: Проблемма с фаерволом.
Отправлено: cojiict от 19 Октября 2017, 09:03:54
Скажите какую систему поставить? Ибо это уже жестко напрягает...
Код:
uname -a 

9.2-RELEASE FreeBSD 9.2-RELEASE #0: Wed Mar 12 16:50:57 EET 2014
Код:
 mpd5 -v
Version 5.7
Код:
 radiusd -v
radiusd: FreeRADIUS Version 2.2.6,

працює pppoe,dhcp, static без жодного збою


Название: Re: Проблемма с фаерволом.
Отправлено: ale1975 от 19 Октября 2017, 21:26:56
Вернемся в начало! В 9.2- "замирание Мпд" , наблюдается на всех наших серваках раз в 2-3 недели, лечится перезагрузкой. Патчи есть для 11.2, но там вылазит другая проблема -исчезновение ip из таблиц ipfw, причем проблема нарастает лавинообразно. Поэтому выбираем пока 9.2.


Название: Re: Проблемма с фаерволом.
Отправлено: ser970 от 19 Октября 2017, 22:31:38
Вернемся в начало! В 9.2- "замирание Мпд" , наблюдается на всех наших серваках раз в 2-3

на 9 ветке нету проблем с Mpd

uname -an
FreeBSD nas4.local 9.3-RELEASE-p30 FreeBSD 9.3-RELEASE-p30 #0 r291302: Wed Nov 25 19:47:14 EET 2015     ______:/usr/src/sys/amd64/compile/MYKERNEL  amd64

ifconfig |grep ng |wc
    1262    7572  106186

uptime
10:56PM  up 199 days, 22:13, 1 user, load averages: 2.41, 2.88, 3.14

проблема на 10 ветке


Название: Re: Проблемма с фаерволом.
Отправлено: ale1975 от 20 Октября 2017, 21:38:03
У меня мпд-5.8, проблемы есть на 9.2.


Название: Re: Проблемма с фаерволом.
Отправлено: BobroCoder от 01 Ноября 2017, 08:57:14
Доброго времени суток!
Обновлялись до 11, но пришлось вернуться на 10.2 на которой не отваливаются абоненты из ipfw...
Как ситуация с FreeBSD 11.1? Решение проблемы с фаерволом найдено?


Название: Re: Проблемма с фаерволом.
Отправлено: ale1975 от 01 Ноября 2017, 09:28:50
ничего не найдено! В 11 обновился ipfw, отсюда наверное и проблемы.


Название: Re: Проблемма с фаерволом.
Отправлено: Efendy от 01 Ноября 2017, 11:32:57
У тебя есть учетки "всегда онлайн"? Они бывают авторизованными (именно чтоб была сессия авторизации)?


Название: Re: Проблемма с фаерволом.
Отправлено: BobroCoder от 01 Ноября 2017, 11:51:27
ничего не найдено! В 11 обновился ipfw, отсюда наверное и проблемы.

Я про это и писал. Решения еще не найдено?
Случайная часть IP не попадает в таблицы ipfw по диагностике - видимо прерывается выполение на чем то.


Название: Re: Проблемма с фаерволом.
Отправлено: ale1975 от 01 Ноября 2017, 12:14:18
У тебя есть учетки "всегда онлайн"? Они бывают авторизованными (именно чтоб была сессия авторизации)?

таких учеток нет

у меня есть свободный сервак с 11.1, на нем есть ета проблема ,можно при желании поискать причину если будут помощники по билингу!


Название: Re: Проблемма с фаерволом.
Отправлено: ale1975 от 01 Ноября 2017, 12:25:24
ничего не найдено! В 11 обновился ipfw, отсюда наверное и проблемы.

Я про это и писал. Решения еще не найдено?
Случайная часть IP не попадает в таблицы ipfw по диагностике - видимо прерывается выполение на чем то.

я думал, может размеры таблиц ipfw где-то ограничены и то одних выкидывает то  других.


Название: Re: Проблемма с фаерволом.
Отправлено: Efendy от 01 Ноября 2017, 14:13:26
У тебя есть учетки "всегда онлайн"? Они бывают авторизованными (именно чтоб была сессия авторизации)?

таких учеток нет

у меня есть свободный сервак с 11.1, на нем есть ета проблема ,можно при желании поискать причину если будут помощники по билингу!
у меня щас свободного времени вообще нет, но постараюсь на виртуальной машине потестить, если там не повторится, то попрошу доступ


Название: Re: Проблемма с фаерволом.
Отправлено: WideAreaNetwork от 01 Ноября 2017, 14:40:46
сделал пару записей по команде
Код:
perl noserver.pl -u=id_abonenta -v
постараюсь сегодня выложить, может чем-то поможет


Название: Re: Проблемма с фаерволом.
Отправлено: BobroCoder от 01 Ноября 2017, 15:55:35
Заранее спасибо. Было бы хорошо.
Актуальная на данный момент FreeBSD 11.1 всем вроде понравилась - работает стабильно, за исключением этого момента.

у меня щас свободного времени вообще нет, но постараюсь на виртуальной машине потестить, если там не повторится, то попрошу доступ


Название: Re: Проблемма с фаерволом.
Отправлено: Redmen от 01 Ноября 2017, 18:15:06
начиная с версии freebsd 11.0 изменился синтаксис ipfw
до 10.4:
https://www.freebsd.org/cgi/man.cgi?query=ipfw&apropos=0&sektion=8&manpath=FreeBSD+10.4-RELEASE&arch=default&format=html (https://www.freebsd.org/cgi/man.cgi?query=ipfw&apropos=0&sektion=8&manpath=FreeBSD+10.4-RELEASE&arch=default&format=html)
после 11.0
https://www.freebsd.org/cgi/man.cgi?query=ipfw&apropos=0&sektion=8&manpath=FreeBSD+11.1-RELEASE&arch=default&format=html (https://www.freebsd.org/cgi/man.cgi?query=ipfw&apropos=0&sektion=8&manpath=FreeBSD+11.1-RELEASE&arch=default&format=html)
наиболее бросилось в глаза то, что с 11.0 нужно создавать таблицы файрвола перед наполнением


Название: Re: Проблемма с фаерволом.
Отправлено: WideAreaNetwork от 01 Ноября 2017, 19:30:11
вот пару файлов для анализа, уже очень хочется найти причину данного бага или фичи, даже не знаю что лучше :)


Название: Re: Проблемма с фаерволом.
Отправлено: WideAreaNetwork от 08 Ноября 2017, 16:23:03
это наверное не победить или кто то таки победил?


Название: Re: Проблемма с фаерволом.
Отправлено: ale1975 от 08 Ноября 2017, 19:51:41
Так вроде БОСС  написал, что нашел причину!!! Это в теме про фичерквест


Название: Re: Проблемма с фаерволом.
Отправлено: WideAreaNetwork от 08 Ноября 2017, 22:19:42
Это в теме про фичерквест
не нашел в теме фичарекввест, да и о проблеме вроде как писали в этой теме


Название: Re: Проблемма с фаерволом.
Отправлено: ale1975 от 08 Ноября 2017, 22:24:16
Цитата-"Я пока не залил (user_field и user_field нет в текущей версии биллинга) - завтра на свежую голову все потестирую. Кстати, возможно, я нашел проблему, почему на новых фрях не работает noserver - тоже завтра потестирую."


Название: Re: Проблемма с фаерволом.
Отправлено: WideAreaNetwork от 08 Ноября 2017, 22:46:08
спс, там просто писали об ДР и поднятии скорости абону в этот день, поэтому пост и не читал до конца


Название: Re: Проблемма с фаерволом.
Отправлено: Efendy от 09 Ноября 2017, 15:07:17
в 471й ревизии все ок?


Название: Re: Проблемма с фаерволом.
Отправлено: BobroCoder от 16 Ноября 2017, 20:59:54
Кто попробовал новые ревизии - проблема решена?


Название: Re: Проблемма с фаерволом.
Отправлено: WideAreaNetwork от 16 Ноября 2017, 23:44:45
скажем так, пока она не возникала, а там увидим)


Название: Re: Проблемма с фаерволом.
Отправлено: Tooreagen от 24 Ноября 2017, 10:30:39
в 471й ревизии все ок?

Проблема осталась((


Название: Re: Проблемма с фаерволом.
Отправлено: WideAreaNetwork от 24 Ноября 2017, 14:56:45
в 471й ревизии все ок?

Проблема осталась((
двойное попадание айпи в 41 таблицу?


Название: Re: Проблемма с фаерволом.
Отправлено: BobroCoder от 27 Ноября 2017, 12:04:58
Ревизия 473 - Неделя использования на FreeBSD 11.1 - PPPoE - Полет нормальный, проблем не обнаружено (Тьфу тьфу тьфу  :) )


Название: Re: Проблемма с фаерволом.
Отправлено: WideAreaNetwork от 01 Декабря 2017, 11:30:26
проблема осталась, произошло в полночь на 1 число
ревизия 471


пс. попробую обновить до последней


Название: Re: Проблемма с фаерволом.
Отправлено: Efendy от 01 Декабря 2017, 12:36:44
По твоим прикреплениям ничего не видно - запустил и сразу прервал. Мы ищем проблему. А проблема, скорее всего в том, что на каком-то этапе ipfw некорректно интерпретирует команды от nodeny. Нужно иметь эту последовательность команд чтобы от чего-то отталкиваться


Название: Re: Проблемма с фаерволом.
Отправлено: WideAreaNetwork от 01 Декабря 2017, 12:51:41
понял, на данном этапе обновил до 483 рев, повториться проблема сделаю нормальную запись


Название: Re: Проблемма с фаерволом.
Отправлено: WideAreaNetwork от 08 Февраля 2018, 17:00:50
понял, на данном этапе обновил до 483 рев, повториться проблема сделаю нормальную запись
проблем нет, наверное таки победили)))


Название: Re: Проблемма с фаерволом.
Отправлено: kosmich от 12 Ноября 2018, 19:49:26
Здравствуйте.
FreeBSD 11.2-RELEASE #2 r339376.
Было и на 11.1.
Периодически, раз в месяц примерно, может реже, может чаще, возникает такая ситуация.
В один шейп попадают несколько айпи адресов, разных абонентов.
1. Скорость в шейпе меняется, на скорость последнего авторизованного абона.
2. Все айпи пропадают из проблемного пайпа.
Как лечить ?
По рецептам из этого поста forum.nodeny.com.ua/index.php?topic=2950.msg31869#msg31869  
и запускать perl noserver.pl -u=id_abonenta -v
абонов много.

Код:
ipfw table 31 list | grep 65506
10.0.7.184/32 65506
10.0.39.215/32 65506
10.0.44.219/32 65506
10.0.45.241/32 65506

ipfw table 21 list | grep 65501
10.0.7.184/32 65501
10.0.39.215/32 65501
10.0.44.219/32 65501
10.0.45.241/32 65501


ipfw table all list | wc -l  
   10609

Допускаю, что с удаленными насами теряется связность, в силу удаленности и падения магистральных линков, больше чем на час.
С удаленными понятно почему может возникать проблема.
Есть и локальные насы, на которых происходит аналогичная ситуация. Вывод показан с локального наса.
Таблицы на всех насах идентичные, в данный момент, на одном насе есть проблема, на других нет.



Название: Re: Проблемма с фаерволом.
Отправлено: kosmich от 12 Ноября 2018, 21:28:14
Может из за особенностей алгоритма, заканчиваются пайпы ?


Название: Re: Проблемма с фаерволом.
Отправлено: cojiict от 13 Января 2022, 12:09:44
тут либо один раз показывает его адрес, я так понимаю либо в 21 либо в 31 таблице, либо вообще не выводится
еще есть 41 таблица - в нее попадают те, у кого скорость 100 мбит (или другая, выше той, которая в конфиге называется "скорость, начиная с которой шейп не применяется")
в
Код:
noserver.cfg.pm
параметр
Код:
$ip_tags    = 'sat3';               # обрабатывать ip только с этим тегом
працює лише з table 21 / table 31
В table 41 попадають всі ІР поза шейпером з всіх пулів, навіть якщо в них інший тег.
Код:
#ipfw table 21 list | wc -l
787
#ipfw table 31 list | wc -l
787
#ipfw table 41 list | wc -l
1821
Підкажіть де виправити щоб і 41 таблиці були лише ті ІР в яких співпадає тег.
Дякую


Название: Re: Проблемма с фаерволом.
Отправлено: Efendy от 14 Января 2022, 16:30:40
Попробуй вручную очистить эту таблицу
Код:
ipfw table 41 flush
и рестартануть noserver