Печать страницы

Название: Трафик
Отправлено: SerjioMati от 13 Июня 2014, 13:20:41

почему перестало считать трафик?
Последний срез 15890 сек назад
время 09:53 >:(

Название: Re: Трафик
Отправлено: ivanmfan от 13 Июня 2014, 13:34:23

Цитата: SerjioMati от 13 Июня 2014, 13:20:41

почему перестало считать трафик?
Последний срез 15890 сек назад
время 09:53 >:(

проверь запущен ли kernel.pl

покажи ps ax | grep pl

Название: Re: Трафик
Отправлено: SerjioMati от 13 Июня 2014, 13:42:29

Цитата: ivanmfan от 13 Июня 2014, 13:34:23

Цитата: SerjioMati от 13 Июня 2014, 13:20:41

почему перестало считать трафик?
Последний срез 15890 сек назад
время 09:53 >:(

проверь запущен ли kernel.pl

покажи ps ax | grep pl

1047 v0- S 0:04.92 /usr/bin/perl /usr/local/nodeny/noserver.pl -d (perl5.14
1075 v0- S 0:17.49 /usr/bin/perl /usr/local/nodeny/nokernel.pl -m=cap -d (p
2226 0 S+ 0:00.00 grep pl

Название: Re: Трафик
Отправлено: ivanmfan от 13 Июня 2014, 13:53:19

Цитата: SerjioMati от 13 Июня 2014, 13:42:29

Цитата: ivanmfan от 13 Июня 2014, 13:34:23

Цитата: SerjioMati от 13 Июня 2014, 13:20:41

почему перестало считать трафик?
Последний срез 15890 сек назад
время 09:53 >:(

проверь запущен ли kernel.pl

покажи ps ax | grep pl

1047 v0- S 0:04.92 /usr/bin/perl /usr/local/nodeny/noserver.pl -d (perl5.14
1075 v0- S 0:17.49 /usr/bin/perl /usr/local/nodeny/nokernel.pl -m=cap -d (p
2226 0 S+ 0:00.00 grep pl

у тебя явно потух основной nokernel.pl

в /etc/rc.local у тебя есть ли строка
/usr/bin/perl /usr/local/nodeny/nokernel.pl -d &

если да то выполни эту команду от рута

/usr/bin/perl /usr/local/nodeny/nokernel.pl -d &

Название: Re: Трафик
Отправлено: SerjioMati от 13 Июня 2014, 19:41:21

Цитировать

/usr/bin/perl /usr/local/nodeny/nokernel.pl -d &
[1] 5035

да есть в /etc/rc.local

Название: Re: Трафик
Отправлено: ivanmfan от 13 Июня 2014, 21:31:16

Цитата: SerjioMati от 13 Июня 2014, 19:41:21

Цитировать

/usr/bin/perl /usr/local/nodeny/nokernel.pl -d &
[1] 5035

да есть в /etc/rc.local

Работает?

Название: Re: Трафик
Отправлено: SerjioMati от 13 Июня 2014, 23:05:59

неа

Название: Re: Трафик
Отправлено: SerjioMati от 13 Июня 2014, 23:06:39

yadi.sk/d/lxI_NDvsTKGvk скрин

Название: Re: Трафик
Отправлено: SeMant от 14 Июня 2014, 06:08:08

а ядро вообще заработало ?
ps ax | grep pl

Название: Re: Трафик
Отправлено: SerjioMati от 15 Июня 2014, 11:52:02

дякую всім за допомогу. ivanfan допоміг

Название: Re: Трафик
Отправлено: Windows от 15 Июня 2014, 12:15:11

Такая-же фигня рандомно случается на 2-х разных серверах.Начинаются проблемы с трафиком а потом смотрю что ядро выпало.Почему выпадает не разобрался пока.

Название: Re: Трафик
Отправлено: ivanmfan от 15 Июня 2014, 12:21:16

Цитата: Windows от 15 Июня 2014, 12:15:11

в /boot/loader.conf

kern.maxdsiz="1G"
kern.dfldsiz="1G"

Название: Re: Трафик
Отправлено: Windows от 15 Июня 2014, 12:22:42

/boot/loader.conf

kern.maxdsiz="2G"
kern.dfldsiz="2G"

MODULE RUN?
system_clean 1
make_config 0
turbosms 1
auth 1
mmm 1
system_check 1
capremind 0
cap 1
services 1
authserver 0
tmppays 1
websession 1
collectors 1
balance 1
authtraf 1
dhcp 1
stop_service 1

Название: Re: Трафик
Отправлено: ivanmfan от 15 Июня 2014, 12:39:27

Цитата: Windows от 15 Июня 2014, 12:22:42

Ну могу только посоветовать попробовать запустить отдельно collectors и cap. Падает и noserver.pl ?

Название: Re: Трафик
Отправлено: Windows от 15 Июня 2014, 14:17:18

Падает только nokernel

Название: Re: Трафик
Отправлено: poxy. от 15 Июня 2014, 14:19:50

Цитата: Windows от 15 Июня 2014, 14:17:18

Падает только nokernel

выключи authtraf (0 в конфиге) и перезапусти ядро и остальное

Название: Re: Трафик
Отправлено: Windows от 15 Июня 2014, 14:31:39

Цитата: stimels7 от 15 Июня 2014, 14:19:50

Цитата: Windows от 15 Июня 2014, 14:17:18

Падает только nokernel

выключи authtraf (0 в конфиге) и перезапусти ядро и остальное

Без этого конфига ведь по-моему не будет показывать клиентов которые онлайн?

Название: Re: Трафик
Отправлено: poxy. от 15 Июня 2014, 19:32:19

авторизация какая?

Название: Re: Трафик
Отправлено: Windows от 16 Июня 2014, 09:44:50

Никакой.Просто иннет подавать или отключать по ай-пи.Я на свичах привязываю ай-пи к порту.

Название: Re: Трафик
Отправлено: poxy. от 16 Июня 2014, 16:53:57

Цитата: Windows от 15 Июня 2014, 14:31:39

Цитата: stimels7 от 15 Июня 2014, 14:19:50

Цитата: Windows от 15 Июня 2014, 14:17:18

Падает только nokernel

выключи authtraf (0 в конфиге) и перезапусти ядро и остальное

Без этого конфига ведь по-моему не будет показывать клиентов которые онлайн?

Будет

Название: Re: Трафик
Отправлено: Windows от 21 Июня 2014, 19:47:41

Цитата: stimels7 от 16 Июня 2014, 16:53:57

Цитата: Windows от 15 Июня 2014, 14:31:39

Цитата: stimels7 от 15 Июня 2014, 14:19:50

Цитата: Windows от 15 Июня 2014, 14:17:18

Падает только nokernel

выключи authtraf (0 в конфиге) и перезапусти ядро и остальное

Без этого конфига ведь по-моему не будет показывать клиентов которые онлайн?

Будет

Нету.В биллинге стоит всегда онлайн.Авторизация на свитчах.Привязка IP к порту.

Название: Re: Трафик
Отправлено: poxy. от 22 Июня 2014, 08:38:37

у меня авторизация модулем dhcp

Название: Re: Трафик
Отправлено: NodenY45 от 23 Ноября 2016, 09:38:49

Возникла похожая ситуация, только ядро не отпадает, а очень долго подсчитывает трафик..
Так стало после того как вынесли НАТ на железное решение, а ноденай оставили роутить серые подсети и часть внешних айпи через PF BINAT.
Фаервол стандартный с мануала, пробовали divert менять на tee, без изменений.
Закономерность такая, когда трафика мало - считает раз в минуту, когда трафик стает более 100мбит - увеличивается длительность среза... до 10-15минут.
Модуль коллектора перезагружали, жесткие диски тестили(меняли с рэйда), mysql чекали, сервер ребутали-обновляли, ревизия Н+ 432, FreeBSD 10.2-RELEASE-p25 #4: Wed Nov 23 06:18:31 EET 201 :)

Название: Re: Трафик
Отправлено: NodenY45 от 23 Ноября 2016, 12:25:41

Сейчас срез доходит, по времени, до 20 минут...
Подскажите куда смотреть.

Название: Re: Трафик
Отправлено: Efendy от 23 Ноября 2016, 14:58:55

Запусти модуль collectors с ключем -v и без -d. Там после каждой итерации пишет статистику на что сколько времени было затрачено

Название: Re: Трафик
Отправлено: NodenY45 от 23 Ноября 2016, 16:14:57

Цитата: Efendy от 23 Ноября 2016, 14:58:55

Забыл отписать что тоже запускал, кидаю лог

Код:

Start

loading /usr/local/nodeny/kernel/collectors/ipcad.pm (for addr 127.0.0.1)

SELECT uid,INET_NTOA(ip) AS ip FROM ip_pool WHERE uid<>0
Строк: 913. Время выполнения sql: 0.0038 сек

SELECT * FROM nets WHERE priority>0 ORDER BY priority
Строк: 3. Время выполнения sql: 0.0003 сек

SELECT UNIX_TIMESTAMP() AS t
Строк: 1. Время выполнения sql: 0.0002 сек

CREATE TABLE IF NOT EXISTS X2016_11_23 (
  `uid` mediumint(9) NOT NULL default '0',
  `iface` tinyint(4) NOT NULL default '0',
  `time` int(11) unsigned NOT NULL default '0',
  `class` tinyint(4) NOT NULL default '0',
  `in` bigint(20) unsigned NOT NULL default '0',
  `out` bigint(20) unsigned NOT NULL default '0',
  KEY `uid` (`uid`),
  KEY `time` (`time`)
) ENGINE=MyISAM;

Строк: 0. Время выполнения sql: 0.0003 сек

CREATE TABLE IF NOT EXISTS Z2016_11_23 (
  `uid` int(10) unsigned NOT NULL DEFAULT '0',
  `time` int(10) unsigned NOT NULL DEFAULT '0',
  `bytes` int(10) unsigned NOT NULL DEFAULT '0',
  `direction` tinyint(4) unsigned NOT NULL DEFAULT '0',
  `class` tinyint(3) unsigned NOT NULL DEFAULT '0',
  `uip` int(10) unsigned NOT NULL DEFAULT '0',
  `ip` int(10) unsigned NOT NULL DEFAULT '0',
  `port` smallint(5) unsigned NOT NULL DEFAULT '0',
  `proto` smallint(5) unsigned NOT NULL DEFAULT '0',
  KEY `time` (`time`)
) ENGINE=MyISAM;

Строк: 0. Время выполнения sql: 0.0002 сек

Опрос обработчиков коллекторов

Получили данные от ipcad:127.0.0.1

и вот здесь тупо замирает....
далее идет это и снова замирает на "Получили данные"

Код:

UPDATE users_trf SET actual=0 , in1=in1+'2445698', out1=out1+'729876', in2=in2+'21553', out2=out2+'12725' WHERE uid='1753'
Строк: 1. Время выполнения sql: 0.0007 сек

UPDATE users_trf SET actual=0 , in1=in1+'17903', out1=out1+'17172', in2=in2+'121926', out2=out2+'122320' WHERE uid='626'
Строк: 1. Время выполнения sql: 0.0005 сек

UPDATE users_trf SET actual=0 , in1=in1+'3853', out1=out1+'8003', in2=in2+'47443', out2=out2+'4210' WHERE uid='1082'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'5030', out1=out1+'3542', in2=in2+'177165', out2=out2+'38904' WHERE uid='1722'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'1741106', out1=out1+'262790', in2=in2+'724445', out2=out2+'113476' WHERE uid='1794'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'19230', out1=out1+'4872', in2=in2+'523028', out2=out2+'154036' WHERE uid='149'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'1997', out1=out1+'1833', in2=in2+'260', out2=out2+'468' WHERE uid='1078'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in2=in2+'26070', out2=out2+'2761' WHERE uid='1701'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'4899627', out1=out1+'185727', in2=in2+'21882172', out2=out2+'330556' WHERE uid='1646'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'320', out1=out1+'416', in2=in2+'640', out2=out2+'832' WHERE uid='45'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'1181392', out1=out1+'430001', in2=in2+'5673422', out2=out2+'795806' WHERE uid='953'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'92836', out1=out1+'57202', in2=in2+'44167817', out2=out2+'369088' WHERE uid='648'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'250709', out1=out1+'2063774', in2=in2+'45602', out2=out2+'51753' WHERE uid='1427'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'214020', out1=out1+'237761', in2=in2+'72240', out2=out2+'89084' WHERE uid='639'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'5032', out1=out1+'7649' WHERE uid='494'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'0', out1=out1+'604', in2=in2+'1727', out2=out2+'1736' WHERE uid='429'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'101219', out1=out1+'52000', in2=in2+'56797', out2=out2+'69068' WHERE uid='1668'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'24171', out1=out1+'16124', in2=in2+'18419', out2=out2+'29523' WHERE uid='536'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'320', out1=out1+'416', in2=in2+'445', out2=out2+'607' WHERE uid='542'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'18000', out1=out1+'7627', in2=in2+'44925971', out2=out2+'531215' WHERE uid='968'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'429429', out1=out1+'71993', in2=in2+'12897', out2=out2+'9209' WHERE uid='521'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'19532169', out1=out1+'167296', in2=in2+'61657', out2=out2+'28475' WHERE uid='200'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'411', out1=out1+'399', in2=in2+'40', out2=out2+'40' WHERE uid='874'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'30233', out1=out1+'27696', in2=in2+'15097', out2=out2+'13753' WHERE uid='870'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'2484', out1=out1+'8078', in2=in2+'320', out2=out2+'416' WHERE uid='457'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'76', out1=out1+'76' WHERE uid='1783'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'3708', out1=out1+'2849', in2=in2+'40907187', out2=out2+'275930' WHERE uid='563'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'13715', out1=out1+'12404', in2=in2+'26011', out2=out2+'17118' WHERE uid='1827'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'11176963', out1=out1+'192115', in2=in2+'27217938', out2=out2+'859533' WHERE uid='958'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'2744876', out1=out1+'291060', in2=in2+'313609', out2=out2+'94021' WHERE uid='809'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'718', out1=out1+'686', in2=in2+'5125', out2=out2+'2911' WHERE uid='7'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'4683937', out1=out1+'93954', in2=in2+'35187', out2=out2+'34602' WHERE uid='399'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'2088', out1=out1+'2489', in2=in2+'640', out2=out2+'832' WHERE uid='572'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'8143', out1=out1+'12194', in2=in2+'54790', out2=out2+'25538' WHERE uid='1076'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'89410', out1=out1+'54787', in2=in2+'13274', out2=out2+'43212' WHERE uid='987'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'27819', out1=out1+'10064', in2=in2+'34563', out2=out2+'19744' WHERE uid='1529'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'479552', out1=out1+'196597', in2=in2+'1477952', out2=out2+'66298' WHERE uid='1730'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'5665643', out1=out1+'259048', in2=in2+'7745', out2=out2+'11706' WHERE uid='1647'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'19319416', out1=out1+'4531688', in2=in2+'488286', out2=out2+'10207' WHERE uid='1734'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'205365', out1=out1+'40488', in2=in2+'13107995', out2=out2+'195571' WHERE uid='1405'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'51318', out1=out1+'37146', in2=in2+'12653', out2=out2+'11648' WHERE uid='1684'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'22787', out1=out1+'15820', in2=in2+'3862', out2=out2+'3601' WHERE uid='1584'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'88749606', out1=out1+'2700427', in2=in2+'1482418', out2=out2+'80869' WHERE uid='1781'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'24636', out1=out1+'21169', in2=in2+'55162253', out2=out2+'825508' WHERE uid='1823'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'592', out1=out1+'0', in2=in2+'95', out2=out2+'0' WHERE uid='96'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'9609', out1=out1+'5654', in2=in2+'22914235', out2=out2+'614422' WHERE uid='1220'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'1900', out1=out1+'2369', in2=in2+'6429', out2=out2+'3612' WHERE uid='883'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'54045', out1=out1+'20050', in2=in2+'286114', out2=out2+'52063' WHERE uid='1776'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'960', out1=out1+'1248', in2=in2+'1276', out2=out2+'1416' WHERE uid='150'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'4498', out1=out1+'8531', in2=in2+'43061208', out2=out2+'846344' WHERE uid='1011'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in2=in2+'44861133', out2=out2+'1205929' WHERE uid='425'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'10816', out1=out1+'9982', in2=in2+'12331', out2=out2+'8512' WHERE uid='1838'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'16464642', out1=out1+'288186', in2=in2+'13273', out2=out2+'16079' WHERE uid='1124'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'0', out1=out1+'60', in2=in2+'34974859', out2=out2+'460599' WHERE uid='1238'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'84886', out1=out1+'65979', in2=in2+'640', out2=out2+'800' WHERE uid='561'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'6496', out1=out1+'7254', in2=in2+'2568', out2=out2+'2591' WHERE uid='951'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'71859', out1=out1+'26386', in2=in2+'10722', out2=out2+'10262' WHERE uid='1234'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'15076', out1=out1+'11121', in2=in2+'1360', out2=out2+'758' WHERE uid='328'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'320', out1=out1+'416', in2=in2+'680', out2=out2+'884' WHERE uid='1688'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'76', out1=out1+'76' WHERE uid='764'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'16032', out1=out1+'7588', in2=in2+'576', out2=out2+'832' WHERE uid='1587'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'320249', out1=out1+'44068', in2=in2+'2811160', out2=out2+'157989' WHERE uid='1502'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'5722512', out1=out1+'5022822', in2=in2+'1380665', out2=out2+'62488' WHERE uid='878'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'480', out1=out1+'480', in2=in2+'360', out2=out2+'468' WHERE uid='845'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'9524', out1=out1+'6317', in2=in2+'5483', out2=out2+'4415' WHERE uid='566'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'1336', out1=out1+'1954', in2=in2+'40', out2=out2+'0' WHERE uid='614'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'64786451', out1=out1+'569399', in2=in2+'7897', out2=out2+'2852' WHERE uid='523'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'424849', out1=out1+'77636', in2=in2+'2133634', out2=out2+'135546' WHERE uid='367'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'39942', out1=out1+'23696', in2=in2+'49942810', out2=out2+'802281' WHERE uid='1472'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'20969893', out1=out1+'792443', in2=in2+'27683', out2=out2+'37621' WHERE uid='371'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'1610', out1=out1+'2857', in2=in2+'9517', out2=out2+'5480' WHERE uid='1475'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'4490', out1=out1+'8499' WHERE uid='690'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'1100', out1=out1+'1123', in2=in2+'460', out2=out2+'405' WHERE uid='720'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'988', out1=out1+'1473', in2=in2+'811', out2=out2+'1119' WHERE uid='101'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'16379318', out1=out1+'271266', in2=in2+'1648', out2=out2+'2380' WHERE uid='190'
Строк: 1. Время выполнения sql: 0.0004 сек

UPDATE users_trf SET actual=0 , in1=in1+'6032', out1=out1+'5682', in2=in2+'103656', out2=out2+'53924' WHERE uid='37'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'1088', out1=out1+'1213' WHERE uid='134'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'56303', out1=out1+'41828', in2=in2+'17958', out2=out2+'9148' WHERE uid='942'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'44162', out1=out1+'25268', in2=in2+'0', out2=out2+'396' WHERE uid='1049'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'19870928', out1=out1+'589209', in2=in2+'14657750', out2=out2+'264163' WHERE uid='1191'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'8621625', out1=out1+'478479', in2=in2+'3592760', out2=out2+'422337' WHERE uid='1017'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'107647', out1=out1+'57670', in2=in2+'4358102', out2=out2+'76408' WHERE uid='283'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'469106', out1=out1+'858798', in2=in2+'274711', out2=out2+'739605' WHERE uid='981'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'119509', out1=out1+'33792', in2=in2+'150935', out2=out2+'15562' WHERE uid='1837'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'463195', out1=out1+'543046', in2=in2+'9862143', out2=out2+'332007' WHERE uid='1847'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'62761776', out1=out1+'639445', in2=in2+'11596', out2=out2+'5816' WHERE uid='1027'
Строк: 1. Время выполнения sql: 0.0002 сек

UPDATE users_trf SET actual=0 , in1=in1+'2535204', out1=out1+'204093', in2=in2+'4499719', out2=out2+'262723' WHERE uid='1431'
Строк: 1. Время выполнения sql: 0.0002 сек


..........вырезал , в сообщении было более 20000симв......

Строк: 0. Время выполнения sql: 0.0003 сек

CREATE TABLE IF NOT EXISTS Z2016_11_23 (
  `uid` int(10) unsigned NOT NULL DEFAULT '0',
  `time` int(10) unsigned NOT NULL DEFAULT '0',
  `bytes` int(10) unsigned NOT NULL DEFAULT '0',
  `direction` tinyint(4) unsigned NOT NULL DEFAULT '0',
  `class` tinyint(3) unsigned NOT NULL DEFAULT '0',
  `uip` int(10) unsigned NOT NULL DEFAULT '0',
  `ip` int(10) unsigned NOT NULL DEFAULT '0',
  `port` smallint(5) unsigned NOT NULL DEFAULT '0',
  `proto` smallint(5) unsigned NOT NULL DEFAULT '0',
  KEY `time` (`time`)
) ENGINE=MyISAM;

Строк: 0. Время выполнения sql: 0.0002 сек

Опрос обработчиков коллекторов

Получили данные от ipcad:127.0.0.1

ничего длительного не нашел
в самом файле с индексами юаикса около 23000 строк

когда вышел с дебага- написало такое

Код:

  'lines' => 385513,
  'err_lines' => [
    'Source           Destination    Packets        Bytes  SrcPt DstPt Proto   IF',
    'Accounting data age is    12',
    'Accounting data age exact 739',
    'Accounting data saved 1479911387',
    'Accounting threshold exceeded for 12117755 packets and 11391125174 bytes'
  ],
  'no_usr_traf' => 577,
  'err_lines_c' => 5,
  'size' => 30840727,
  'tm_parse' => '756.980',
  'tm_save_traf' => '757.359161638997',
  'tm_start' => '34909.549249274'
};


SELECT uid,INET_NTOA(ip) AS ip FROM ip_pool WHERE uid<>0
Строк: 909. Время выполнения sql: 0.0031 сек

SELECT * FROM nets WHERE priority>0 ORDER BY priority
Строк: 3. Время выполнения sql: 0.0003 сек

Perl exited with active threads:
	0 running and unjoined
	1 finished and unjoined
	0 running and detached

Название: Re: Трафик
Отправлено: Efendy от 23 Ноября 2016, 17:03:48

Цитировать

'tm_save_traf' => '757.359161638997',

757 секунд шла запись трафика. Те sql, что ты не вырезал работают быстро - 2 десятитысячных секунды на каждый. Проблема скорее всего в sql, которые записывают трафик. Но они оформлены нормально - записывают инфу большими пачками. Видимо этой инфы просто дофига и mysql не справляется. Нужно его тюнить, возможно рейд-массивы, озу и т.д - это административная проблема. Возможно, стоит посмотреть в сторону не myisam mysql движков (innodb будет еще хуже ибо транзакционная) чисто для таблиц с трафиком. Опять же - это административная задача

Название: Re: Трафик
Отправлено: NodenY45 от 23 Ноября 2016, 17:25:06

Цитата: Efendy от 23 Ноября 2016, 17:03:48

Цитировать

'tm_save_traf' => '757.359161638997',

Да, но вопрос в том что это произошло в момент переноса НАТа, до этого было все ок. То что я вырезал, по времени тоже самое было, вот и не пойму из за чего так резко начало тормозить, понять бы причину. Гляну по mysql еще.
Сейчас в рэйде 2 ссд по 128 гиг. Ошибок нет.

Название: Re: Трафик
Отправлено: Gosha от 23 Ноября 2016, 18:57:19

А позвольте спросить NodenY45 . У Вас есть разделение мира и Украины? Просто за последние месяцы в три раза вырос файлик украинских сетей. Кстати на nodeny 50 эту проблему обсуждают.

Название: Re: Трафик
Отправлено: NodenY45 от 23 Ноября 2016, 19:00:53

Цитата: Gosha от 23 Ноября 2016, 18:57:19

Разделение есть, да вырос, около 60к префиксов приходит, но опять же вопрос в том что все было нормально даже тогда когда выросло их кол-во.

Название: Re: Трафик
Отправлено: Gosha от 23 Ноября 2016, 19:08:05

Цитата: NodenY45 от 23 Ноября 2016, 19:00:53

Цитата: Gosha от 23 Ноября 2016, 18:57:19

А какое значение у Вас max_connections в mysql ?

Название: Re: Трафик
Отправлено: NodenY45 от 23 Ноября 2016, 19:51:28

Цитата: Gosha от 23 Ноября 2016, 19:08:05

Цитата: NodenY45 от 23 Ноября 2016, 19:00:53

Цитата: Gosha от 23 Ноября 2016, 18:57:19

А какое значение у Вас max_connections в mysql ?

Код:

mysql> show variables like "max_connections";
+-----------------+-------+
| Variable_name   | Value |
+-----------------+-------+
| max_connections | 151   |
+-----------------+-------+
1 row in set (0.00 sec)

Название: Re: Трафик
Отправлено: Gosha от 23 Ноября 2016, 20:01:24

Цитировать

max_connections=500

т.е. увеличим максимально возможное количество одновременных соединений с mysql. Дело в том, что в момент наступления нового месяца запускается скрипт, который проводит снятия со счетов абонентов, обнуляет трафик и выполняет др. сервисные функции. В этот период любопытство клиентов достигает максимального уровня и большое их количество открывает Web-статистику дабы выяснить, что же произошло с их счетом. При этом организуется большое количество соединений с mysql, что может негативно сказаться на работоспособности скрипта «перехода на новый месяц». Значение 500 подобрано для сети с 20 тыс абонентов и имеет значительный запас.

Это для nodeny50 . Возможно имеет смысл тоже повысить. Ведь обсчет направлений(а их много) тоже увеличивает количество соединений с mysql.

Название: Re: Трафик
Отправлено: NodenY45 от 23 Ноября 2016, 20:22:39

Цитата: Gosha от 23 Ноября 2016, 20:01:24

Цитировать

Сделал, разницы не почувствовало.

Название: Re: Трафик
Отправлено: ser970 от 24 Ноября 2016, 09:39:39

max_connections = максимально число соединений - тут как бы не причем .

буфера увеличить или делить длинный запрос на несколько мелких.
смотреть скольок памяти выделяется на процесс и так далее...

Название: Re: Трафик
Отправлено: NodenY45 от 24 Ноября 2016, 10:20:03

Вот что заметил, PF Nat работает порт в порт внешний к внутреннему айпи. -> 119.19.10.2:52610 (10.0.0.6:52610)

Код:

pfctl -sstate | grep 119.19.10.2
No ALTQ support in kernel
ALTQ related functions disabled
all tcp 119.19.10.2:52610 (10.0.0.6:52610) -> 95.213.11.148:443       ESTABLISHED:ESTABLISHED
all tcp 119.19.10.2:52598 (10.0.0.6:52598) -> 87.240.131.113:443       ESTABLISHED:CLOSING
all tcp 119.19.10.2:52599 (10.0.0.6:52599) -> 87.240.131.113:443       ESTABLISHED:CLOSING
all tcp 119.19.10.2:52600 (10.0.0.6:52600) -> 87.240.131.113:443       ESTABLISHED:CLOSING
all tcp 119.19.10.2:52602 (10.0.0.6:52602) -> 87.240.165.73:443       ESTABLISHED:ESTABLISHED
all tcp 119.19.10.2:51781 (10.0.0.6:51781) -> 209.85.233.188:5228       ESTABLISHED:ESTABLISHED
all tcp 119.19.10.2:52605 (10.0.0.6:52605) -> 77.222.148.90:80       ESTABLISHED:ESTABLISHED
all udp 119.19.10.2:62009 (10.0.0.6:62009) -> 94.245.121.251:3544       MULTIPLE:MULTIPLE
all udp 10.0.0.6:48504 (119.19.10.2:48504) <- 37.53.86.247:54337       NO_TRAFFIC:SINGLE
all udp 10.0.0.6:48504 (119.19.10.2:48504) <- 81.30.165.63:1030       NO_TRAFFIC:SINGLE
all udp 10.0.0.6:48504 (119.19.10.2:48504) <- 91.207.105.26:60675       NO_TRAFFIC:SINGLE
all tcp 10.0.0.6:48504 (119.19.10.2:48504) <- 46.39.231.64:37703       CLOSED:SYN_SENT
all tcp 10.0.0.6:48504 (119.19.10.2:48504) <- 92.98.126.7:51004       CLOSED:SYN_SENT
all udp 10.0.0.6:48504 (119.19.10.2:48504) <- 92.98.126.7:58446       NO_TRAFFIC:SINGLE
all udp 10.0.0.6:48504 (119.19.10.2:48504) <- 178.125.101.4:48259       NO_TRAFFIC:SINGLE
all udp 10.0.0.6:48504 (119.19.10.2:48504) <- 88.135.120.216:46378       NO_TRAFFIC:SINGLE

А новый - железный NAT - присваивает порты рандомно. Может из за этого и время просчета увеличивается?

Название: Re: Трафик
Отправлено: NodenY45 от 24 Ноября 2016, 15:31:23

Сейчас снимает статистику раз в час ;D да и трафик то ~400мбит

Название: Re: Трафик
Отправлено: NodenY45 от 24 Ноября 2016, 21:47:33

Вот такая ситуация по top
Есть смысл сменить ipcad на другой коллектор?

Название: Re: Трафик
Отправлено: Efendy от 24 Ноября 2016, 23:53:45

Да, ipcad медленный, потому что он не модуль ядра, а просто программа

Название: Re: Трафик
Отправлено: NodenY45 от 25 Ноября 2016, 07:56:09

Цитата: Efendy от 24 Ноября 2016, 23:53:45

Да, ipcad медленный, потому что он не модуль ядра, а просто программа

В какую сторону смотреть? я так понимаю надо ставить модуль netflow и выбрать что-то из ipacct или ng_netflow?

Название: Re: Трафик
Отправлено: Efendy от 25 Ноября 2016, 11:35:56

netflow, да. Но по загрузке у тебя ipcad только на 3м месте. БОльшую часть ресурсов отжирает подсчет трафика и запись в базу.

Название: Re: Трафик
Отправлено: NodenY45 от 25 Ноября 2016, 11:48:51

Цитата: Efendy от 25 Ноября 2016, 11:35:56

проблема именно 87801 root 2 20 0 460M 404M select 6 696:38 100.00% /usr/bin/perl /usr/local/nodeny/nokernel.pl -m=collectors -d
так какая причина могла спровоцировать такой рост нагрузки на этот скрипт?
все таки указываете на увеличение таблицы юа икса?

Название: Re: Трафик
Отправлено: Efendy от 25 Ноября 2016, 12:02:26

То, что перл отжирает 100% - это не проблема. Он может утилизировать проц на полную катушку - он утилизирует. Если дать ему меньше ресурсов - будет дольше считать и все. Там тупо математика, просто дохрена данных. Ускорить подсчет можно только распараллелив подсчет на несколько ядер. Переделывать под это модуль - слишком геморно, я этим точно заниматься не буду.

Название: Re: Трафик
Отправлено: NodenY45 от 25 Ноября 2016, 20:43:32

Цитата: Efendy от 25 Ноября 2016, 12:02:26

Я не прошу этого делать, просто логичное такому росту объяснение бы получить, ничего не меняли кроме ната, до его смены таких проблем не было.

Название: Re: Трафик
Отправлено: Warlock от 25 Ноября 2016, 22:17:44

У меня такое было.. показывало в пики раз в 5-10 минут.. но тогда и нагрузка была около 3Г..

Название: Re: Трафик
Отправлено: Efendy от 25 Ноября 2016, 23:58:04

Цитата: NodenY45 от 25 Ноября 2016, 20:43:32

Давно я не лез в этот модуль, но вот думаю логически - неправильная настройка наоборот должна приводить к ускорению вычислений.
Допустим, в коллектор попадает левый трафик. Возможно в абсолютно том же количестве, что и раньше, но, допустим после ната он не агрегируется коллектором на абонентов, но тогда он агрегируется на внешний ip nas-а... и это наоборот должно облегчать подсчет за счет отсеивания трафика. Тебе надо проанализировать нет ли резких изменений в начислении трафика. От сюда будем танцевать

Название: Re: Трафик
Отправлено: NodenY45 от 26 Ноября 2016, 12:02:03

Цитата: Efendy от 25 Ноября 2016, 23:58:04

Цитата: NodenY45 от 25 Ноября 2016, 20:43:32

Значит сделал коллектор на нетфлоу, но как и до этого разницы никакой в плане времени среза.
Но что я заметил, сделал flow-print сети которая натится на локальном сервере и та которая идет дальше так вот что получается:
В flow локальный PF-nat:

Код:

srcIP(внешний адрес ресурса)            dstIP(внутренний адрес клиента)

В flow внешнего ната:

Код:

srcIP(внешний адрес ресурса)            dstIP(внутренний адрес клиента)
srcIP(внутренний адрес клиента)            dstIP(внешний адрес ресурса)

получается поток в два раза как минимум больше, изза чего такое может быть?

Название: Re: Трафик
Отправлено: Efendy от 26 Ноября 2016, 12:30:34

Трафик двунаправленный, в первом случае одно направление не попадает в коллектор

Название: Re: Трафик
Отправлено: NodenY45 от 26 Ноября 2016, 12:51:50

Цитата: Efendy от 26 Ноября 2016, 12:30:34

Трафик двунаправленный, в первом случае одно направление не попадает в коллектор

уже увидел.... так и есть, пошла нагрузка, появилось второе направление.

Возможно ли отключить подсчет трафика ЮАИХ таблиц? оставив только шейп на них

Название: Re: Трафик
Отправлено: NodenY45 от 27 Ноября 2016, 17:14:49

Цитата: NodenY45 от 26 Ноября 2016, 12:51:50

Цитата: Efendy от 26 Ноября 2016, 12:30:34

Трафик двунаправленный, в первом случае одно направление не попадает в коллектор

толку никакого, взял уменьшил таблицу юаиха до 8000 - трафик все равно долго считает...
вернул на настройки с доки nodeny по уставновке ipcad

Название: Re: Трафик
Отправлено: Efendy от 27 Ноября 2016, 17:56:44

У ipcad есть хорошая штука как агрегирование. Можно так настроить, чтоб он группу ip-шек и/или сетей воспринимал как одну сеть. Таким образом, если сагрегировать UA-IX в один ip, то на выходе получим гораздо меньшее количество строк с трафиком и это ускорит подсчет. Так что пробуй читать доку по ipcad.

Название: Re: Трафик
Отправлено: NodenY45 от 27 Ноября 2016, 22:30:39

Цитата: Efendy от 27 Ноября 2016, 17:56:44

Да, тогдо получается и биллинге надо сменить вместо файла с префиксами на одну подсеть?

Кстати, сейчас начало работать нормально, кроме очередного рестарта айпикада я ничего не делал. В итоге причина непонятна ;D

Название: Re: Трафик
Отправлено: Efendy от 28 Ноября 2016, 11:50:47

Цитата: NodenY45 от 27 Ноября 2016, 22:30:39

Да, тогдо получается и биллинге надо сменить вместо файла с префиксами на одну подсеть?

Не обязательно, эти же ip могут использоваться при нарезке трафика в фаере. Т/е без разницы, главное, что ipcad на выходе выдаст меньше строк для анализа

Название: Re: Трафик
Отправлено: NodenY45 от 25 Марта 2017, 19:18:49

Вот прошло сколько времени, но все равно трафик считает раз в 15 минут, пробовал убирать разделение на уа\мир, без разницы, все равно подсчет меньше по времени не занимает, посоветуйте на что еще посмотреть?
как узнать где узкое место?
процессор на сервере AMD Opteron 6276(nas+nodenyplus).

Код:

last pid: 64981;  load averages:  5.64,  5.78,  6.03                                                                                                                            up 122+12:39:44 19:17:20
50 processes:  3 running, 47 sleeping
CPU:  7.7% user,  0.0% nice,  7.8% system,  4.5% interrupt, 80.0% idle
Mem: 500M Active, 5697M Inact, 1603M Wired, 1452M Buf, 6144M Free
Swap: 4096M Total, 4096M Free

  PID USERNAME    THR PRI NICE   SIZE    RES STATE   C   TIME    WCPU COMMAND
22974 mysql        33  20    0  4028M  1419M uwait  17 533.0H 100.88% /usr/local/libexec/mysqld --defaults-extra-file=/var/db/mysql/my.cnf --basedir=/usr/local --datadir=/var/db/mysql --plugin-dir=
21612 root          2 103    0   134M 83404K CPU28  28 871.7H 100.00% /usr/bin/perl /usr/local/nodeny/nokernel.pl -m=cap -d
21613 root          2  20    0   484M   415M select 15 836.4H 100.00% /usr/bin/perl /usr/local/nodeny/nokernel.pl -m=collectors -d
76136 root          4  52  -15   158M   138M sbwait 23 1652.6  98.83% /usr/local/bin/ipcad -rds -c /usr/local/etc/ipcad.conf
21611 root         52  52    0   446M   192M RUN    21 459.7H  50.88% /usr/bin/perl /usr/local/nodeny/nokernel.pl -m=pingserver -d
21609 root          1  21    0   319M   277M select 16  47.4H   4.69% /usr/bin/perl /usr/local/nodeny/noserver.pl -d
 8719 unbound       1  21    0 74032K 48484K select 29  42.8H   2.29% /usr/sbin/unbound -c/var/unbound/unbound.conf
21608 root          1  20    0 60876K 15276K sbwait 30 266:10   0.00% /usr/bin/perl /usr/local/nodeny/nokernel.pl -d

Название: Re: Трафик
Отправлено: Sidius от 02 Апреля 2017, 22:56:38

Имели похожую проблему на 50-той версии. Убрали из направлений таблицу УА-ИКС, стало считать траф за 5-10 секунд. Месяц - полет нормальный.

Вывод - думаю надо оптимизировать алгоритм обсчета трафика.

Название: Re: Трафик
Отправлено: NodenY45 от 06 Апреля 2017, 16:32:46

Цитата: Sidius от 02 Апреля 2017, 22:56:38

Удалил файл сетей с настроек биллинга, начало считать раз в минуту как положено, вопрос следующий как теперь отделить мир от украины, чтобы в определенных тарифах шейпить только мир? или получается нужно выбирать или считать нормально трафик, или шейпить мир?

Биллинговая система Nodeny

Главная категория => Nodeny Plus => Тема начата: SerjioMati от 13 Июня 2014, 13:20:41