Биллинговая система Nodeny

Главная категория => Nodeny 50 => Тема начата: trio от 27 Октября 2009, 15:01:52



Название: Проблема с трафиком
Отправлено: trio от 27 Октября 2009, 15:01:52
Привет.
ver 50.31
Столкнулся с проблемой переработки, точнее клиенту считает трафик даже если у него закрыт доступ.

данные клиента:
(http://pic.co.ua/thumbs/1256665418e477bb3a1d035616c3d1ed3af27a2a12.jpg) (http://pic.co.ua/ru/view/e477bb3a1d035616c3d1ed3af27a2a12/)

в данный момент у клиента доступ запрещен но трафик идет:
(http://pic.co.ua/thumbs/12566655538a64a41fafef82fbf72f34444ce59a7f.jpg) (http://pic.co.ua/ru/view/8a64a41fafef82fbf72f34444ce59a7f/)

расширенная статистика:
(http://pic.co.ua/thumbs/12566655825641574e1b84439ccc7315f53e9d13a5.jpg) (http://pic.co.ua/ru/view/5641574e1b84439ccc7315f53e9d13a5/)

ipfw list:
Код:
00050 allow tcp from any to me dst-port 22,23,1723
00051 allow tcp from me 22,23,1723 to any
00052 allow gre from any to any
00110 allow ip from any to any via lo0
00120 skipto 1000 ip from me to any
00130 deny icmp from any to any in icmptypes 5,9,13,14,15,16,17
00160 skipto 2000 ip from any to me
00200 skipto 500 ip from any to any via ng0
00280 fwd 127.0.0.1,81 tcp from table(35) to not me dst-port 80
00290 fwd 127.0.0.1,8080 tcp from not table(0) to not me dst-port 80
00300 skipto 4500 ip from any to any in
00400 skipto 450 ip from any to any recv ng0
00420 divert 1 ip from any to any
00450 divert 2 ip from any to any
00490 allow ip from any to any
00500 skipto 32500 ip from any to any in
00510 divert 1 ip from any to any
00540 allow ip from any to any
01000 allow udp from any 53,7723 to any
01010 allow tcp from any to any setup keep-state
01020 allow udp from any to any keep-state
01100 allow ip from any to any
02000 check-state
02010 allow icmp from any to any
02020 allow tcp from any to any dst-port 80,443
02050 deny ip from any to any via ng0
02060 allow udp from any to any dst-port 53,7723
02065 allow ip from 10.7.7.253 to any
02065 allow ip from 10.7.7.20 to any
02066 allow ip from any to 10.7.7.253
02066 allow ip from any to 10.7.7.20
02100 deny ip from any to any
05000 deny ip from not table(0) to any
05001 skipto 5010 ip from table(127) to table(126)
05002 skipto 5030 ip from any to not table(2)
05003 deny ip from any to not table(1)
05004 pipe tablearg ip from table(21) to any
05005 deny ip from any to any
05010 pipe tablearg ip from table(127) to any
05030 deny tcp from table(15) to any dst-port 25,135,139,445
05132 allow ip from table(33) to table(32)
05400 pipe tablearg ip from table(11) to any
32000 deny ip from any to any
32490 deny ip from any to any
33000 pipe tablearg ip from table(126) to table(127)
33001 skipto 33010 ip from not table(2) to any
33002 pipe tablearg ip from any to table(20)
33003 deny ip from any to any
33132 allow ip from table(32) to table(33)
33400 pipe tablearg ip from any to table(10)
65535 deny ip from any to any


Название: Re: Проблема с трафиком
Отправлено: Александр (AleksHr) от 27 Октября 2009, 15:45:47
Могу подтвердить что такое было - думал глюк. Создал абонентов с заблокированым пакетом - доступ заблокирован. Но суда по статистики у некоторых 2, у некторых 50 или 100 мб, больше не видел. Поетому и сильно не придал значение.


Название: Re: Проблема с трафиком
Отправлено: Aivanzipper от 27 Октября 2009, 15:54:25
+1 подтверждаю, сам видел

но пока сильно не напрягает, т.к. тарифы безлимитные


Название: Re: Проблема с трафиком
Отправлено: trio от 27 Октября 2009, 17:10:07
но пока сильно не напрягает, т.к. тарифы безлимитные

Не совсем согласен.
У клиента включенный компьютер а трафик валит неймоверный, канал попусту напрягает.


Название: Re: Проблема с трафиком
Отправлено: Александр (AleksHr) от 27 Октября 2009, 18:27:46
Разроботчики - прокоментируйте пожалуйста

P.S. Может ет окакой нить определенный трафик? Там UDP, или хз. Потому что больше 100 мб не видел, а клиенты если б был интернет точно халяву бы не пропустили и качали б намного больше...


Название: Re: Проблема с трафиком
Отправлено: Efendy от 27 Октября 2009, 19:22:40
у сеня скриншоты не открылись


Название: Re: Проблема с трафиком
Отправлено: trio от 27 Октября 2009, 19:49:12
Обратите внимание на количество подключений, скорее всего это вирус, так как у клиента инета нету, а трафик все же валит

З.Ы.
  Перезалил скриншоты


Название: Re: Проблема с трафиком
Отправлено: Александр (AleksHr) от 31 Октября 2009, 12:50:41
UP! У меня было нормальное количество подключений при таком.


Название: Re: Проблема с трафиком
Отправлено: verves от 31 Октября 2009, 15:38:40
Обратите внимание на количество подключений, скорее всего это вирус, так как у клиента инета нету, а трафик все же валит

З.Ы.
  Перезалил скриншоты
у клиента "белый" ip-адрес?


Название: Re: Проблема с трафиком
Отправлено: Александр (AleksHr) от 31 Октября 2009, 19:18:12
У меня ни у кого нет белых айпи напрмер... замечено таких больше 5 клиентов...


Название: Re: Проблема с трафиком
Отправлено: trio от 31 Октября 2009, 23:42:22
Цитировать
у клиента "белый" ip-адрес?

нет серый


Название: Re: Проблема с трафиком
Отправлено: verves от 01 Ноября 2009, 03:28:32
Цитировать
у клиента "белый" ip-адрес?

нет серый
тогда каким образом хосты из внешней сети "проскальзывают" сквозь NAT в локалку? трафик ведь снимается с внутреннего интерфейса?


Название: Re: Проблема с трафиком
Отправлено: Александр (AleksHr) от 01 Ноября 2009, 18:26:27
Мне тоже все ето очень интересно - фаервол с доки, вообще без изменений, так же как и nofire.


Название: Re: Проблема с трафиком
Отправлено: Efendy от 01 Ноября 2009, 23:50:46
Мне тоже все ето очень интересно - фаервол с доки, вообще без изменений, так же как и nofire.

если фаервол с доки (там где трафик снимается не с интерфейса, а посылается с помощью divert или netgraph), то в него включена защита от таких ситуаций.

Ранее, да, были такие проблемы:

1) после блокирования исходящего трафика, нат еще мог долго принимать и транслировать входящий. Такое свойство ната, который считает, что соединение должно жить какое-то определенное время пока на него идут пакеты. Этим пользовались вирусы - сыпали на клиента трафик, а клиент не мог закрыть соединение, поскольку от него было все заблокировано, т.е. послать RST для закрытия tcp-сессии он не мог. Вариант борьбы с этим: вместо deny в ipfw ставить reject.

2) трафик на белый ip с инета идет регулярно - это всевозможные сканирования, вирусы и т.д.

Текущий фаер от этого защищен - если клиент заблокирован, то трафик в коллектор не попадает!

Следовательно, если клиенту начислен трафик, то доступ в фаере в данный момент был открыт. Если начислило немного - возможно просто инерционность системы, ведь процессы не происходят мгновенно: ядро снимает показания трафика периодами, потом информацию обновляет noserver, т.е. проходит какое-то небольшое время, обычно удовлетворительное. Тут ничего не поделаешь - чудес не бывает, отрубить клиента в доли секунды как он переработал трафик, на скоростях до 10 Мб/сек - невозможно.

Если переработка трафика значительная, то тут надо уже думать/вычислять. Сообщите какие коллекторы используете (ipcad/netflow) и как они настроены (снимают трафик с интерфейса/divert/netgraph).

Если вы зафиксировали, что клиенту доступ по админке запрещен, а трафик начисляется, то посмотрите, прописано ли разрешение в фаерволе:

ipfw table 10 list

Посмотрите в админке в раздел "мониторинг" нет ли ошибок от модулей, не затупляют ли они (из-за сети или проблем с бд), смотрите логи noserver.log.

Также в таблице users_trf есть поле test, если его установить в 1, то через некоторое время noserver.pl выдаст отчет по клиенту с id = uid этой таблицы. Отчет будет в мониторинге. Мне он был бы очень полезен. Не забудьте только вернуть поле test в нулевое состояние, чтобы таблица не разрасталась


Название: Re: Проблема с трафиком
Отправлено: Александр (AleksHr) от 05 Ноября 2009, 00:59:11
Достало. Првоел дополнительные тесты. Результат ниже.

Максимальная скорость такого клиента - скорость сателита по ходу.

При команда IPFW table 10 list - данный айпи адрес отображается.

Как я понял - прикол в том что в настройках клиента - доступ разрешен стоит по умолчанию. Не изменял раньше так как думал если пакет заблокориван то не имеет значения даная настройка - ошибся.

Ниже скрин настройки тарифа.

Просьба разработчикам отписатся о логике работы тарифа. Я понимаю например если в тарифе стоит заблокирован доступ всегда то так и должно быть. Или так и задумано? Хотя бы автоматически сбрасывалося на запрещен или блокировалось изменение данной опции. Так было бы правилнее.


Название: Re: Проблема с трафиком
Отправлено: Александр (AleksHr) от 05 Ноября 2009, 01:01:53
Не хотел в одном посте писать. У меня в статистика > неучтенный трафик очень много записей вида:
   
127.0.0.1: 90.183.101.10             10.46.16.70              0.000            0.002               0

Думаю понятно что какая колонка. Что ето за трафик?

Также вопрос. При правильной настройке тут что нить должно отображатся? А то у меня очень часто какие то непонятные записи розмером 0.001 мб например и т.д. Вирусы? Но они должны отображатся?


Название: Re: Проблема с трафиком
Отправлено: Efendy от 05 Ноября 2009, 01:34:42
галка "доступ должен заблокирован всегда" не блокирует доступ, а лишь предупреждает, что нужно перевести запись в состояние "доступ запрещен" когда клдиенту вручную выставляется этот пакет. Если доступ не запрещен и авторизация включена и баланс не ниже границы отключения - в фаерволе будет разрешено прохождение трафика


Название: Re: Проблема с трафиком
Отправлено: Александр (AleksHr) от 05 Ноября 2009, 22:18:59
Я в панике! И таких около 40 страниц приблизительно за 1 только минуту!!! 3500 входящих соединений - исходящих 0.

Что за фигня? Судя по шлюзу за билингом трафик не проходит, но успешно насчитывается клиенту. Или все таки проходит?


Название: Re: Проблема с трафиком
Отправлено: Александр (AleksHr) от 05 Ноября 2009, 22:44:03
В абонента стоит доступ заблокирован, при команде ipfw table 10 list его айпишки нет. Но трафик все равно упорно бежыт!!! Что за ерунда?


Название: Re: Проблема с трафиком
Отправлено: Efendy от 05 Ноября 2009, 22:59:53
Неучтенный трафик свидетельствует либо о неправильной настройке либо о пробросе трафика мимо системы управления nodeny


Название: Re: Проблема с трафиком
Отправлено: Александр (AleksHr) от 05 Ноября 2009, 23:24:57
Да нет никаких настроек вообще. Фаервол 1 в 1 с докой, так как 1 сеть и 1 интернет подключение. За билингом стоит шлюз на микротике. Трафик клиента через билинг не проходит, но начисляется почему то. И соединения странные ~4000 за 1 минуту по 0,0002 мб.

Как такое возможно?

На всякий случай фаервол листинг:
Код:
#!/bin/sh -
f='/sbin/ipfw'

ifOut='re0'

${f} -f flush

${f} add 50 allow tcp from any to me 22
${f} add 51 allow tcp from me 22 to any

${f} add 110 allow ip from any to any via lo0
${f} add 120 skipto 1000 ip from me to any
${f} add 130 deny icmp from any to any in icmptype 5,9,13,14,15,16,17
${f} add 160 skipto 2000 ip from any to me

${f} add 200 skipto 500 ip from any to any via ${ifOut}

${f} add 300 skipto 4500 ip from any to any in

${f} add 400 skipto 450 ip from any to any recv ${ifOut}
${f} add 420 divert 1 ip from any to any
${f} add 450 divert 2 ip from any to any
${f} add 490 allow ip from any to any

${f} add 500 skipto 32500 ip from any to any in
${f} add 510 divert 1 ip from any to any
${f} add 540 allow ip from any to any

${f} add 1000 allow udp from any 53,7723 to any
${f} add 1010 allow tcp from any to any setup keep-state
${f} add 1020 allow udp from any to any keep-state
${f} add 1100 allow ip from any to any

${f} add 2000 check-state
${f} add 2010 allow icmp from any to any
${f} add 2020 allow tcp from any to any 80,443
${f} add 2050 deny ip from any to any via ${ifOut}
${f} add 2060 allow udp from any to any 53,7723

${f} add 2100 deny ip from any to any

${f} add 4900 fwd 127.0.0.1,80 tcp from not 'table(0)' to any 80

${f} add 32490 deny ip from any to any


Название: Re: Проблема с трафиком
Отправлено: Efendy от 06 Ноября 2009, 11:57:29
Да нет никаких настроек вообще. Фаервол 1 в 1 с докой,
что-то я не помню fwd  в фаерволе 1 с 1 докой... На скриншоте что за айпишники? Кому принадлежат?


Название: Re: Проблема с трафиком
Отправлено: Александр (AleksHr) от 06 Ноября 2009, 12:39:09
Сори, тока форвард на статистику если не авторизован абонент. Айпишник принадлежыт клиенту. У него минус на щету, доступ естественно заблокирован.

Пришлося через arp изменить мак айпишника, поток сократился до 5-8 записей а не 4000 но не пропал.

Какие данные еще нужны?


Название: Re: Проблема с трафиком
Отправлено: Efendy от 06 Ноября 2009, 13:46:21
биллинг не видит, что айпишник принадлежит клиенту. Какой из двух айпишников принадлежит клиенту? Короче, надоело выуживать инфу. Обратись к Валентину, за денюшку быстро тебе все настроит


Название: Re: Проблема с трафиком
Отправлено: Александр (AleksHr) от 06 Ноября 2009, 21:12:11
Разобрался, может кому пригодится. Проблема была в строке переадресации на статистику билинга при остутствии авторизации или денег у абонента.

NoDeny считает такой трафик клиенту, хотя на самом деле клиенту доступ в интернет заблокирован и дальше билинга он не проходит. Так что уважаимые, кто так делает - уверен не я один, будьте внимательны.

Может кто подскажет как обойти?


Название: Re: Проблема с трафиком
Отправлено: Maks от 06 Ноября 2009, 22:25:45
Сделай трафик этот безплатным. В направлениях.


Название: Re: Проблема с трафиком
Отправлено: serojperoj от 06 Ноября 2009, 23:01:13
Цитировать
Может кто подскажет как обойти?

я после
Код:
skipto 450 ip from any to any recv If_Out

добавил

Код:
allow tcp from any to not table(0) out via If_In

2 недели вроде нормально.


Цитировать
Сделай трафик этот безплатным. В направлениях.

не думаю что такой трафик можно сделать бесплатным в направлениях, так как этот запрос не идет к клиенту от локалхоста, а от запрашеваемого сайта