Название: Тормозин интернет у абонентов
Отправлено: NTE от 11 Ноября 2016, 20:31:28
Доброе время суток! Имеем: IBM x3550 M4 Server FreeBSD 9.2 Nodeny ver. 50.32 На абонентов смотрит 10-ти гиговая сетевуха (Silicom PE210G2SPi9A-XR, 2 порта 10GE (SFP+)) наружу настроен lagg из двух гиговых интелловских карт встроенных в сервер. Снаружи за сервером стоит Mikrotik Cloud Core Router 1036-12G-4S, на 2-х интерфейсах, соединенных с сервером настроен bonding. Проблема вот в чем: Когда трафик на загрузку доходит до 1.1-1.2 гбит. У абонов тупит интернет. Медленно работают сайты, ютуб тормозит и т.д., speedtest.net показывает слабую скорость на Download, на Upload - все отлично. Но потери пингов нет совсем, яндекс пингуется как и при незагруженном канале стабильно и без потерь. Сначала грешил на микротик. Но если в час-пик, включиться напрямую в микротик ноутом, то на ноуте все работает на УРА. Ютуб летает, speedtest тоже. Подскажите пожалуйста, в какую сторону смотреть. Вот некоторые конфиги: Фрагмент rc.conf cloned_interfaces="lagg0"
ifconfig_igb2="up"
ifconfig_igb3="up"
ifconfig_lagg0="laggproto lacp laggport igb2 laggport igb3 192.168.2.10 netmask 255.255.255.0" в sysctl.conf только две строчки kern.ipc.nmbclusters=262144
kern.ipc.nmbjumbop=262144 Загрузка процессоров на микротике, в час-пик до 25% на фряхе: top -SH last pid: 58283; load averages: 4.19, 3.98, 3.82 up 40+14:23:20 21:24:30
297 processes: 23 running, 195 sleeping, 7 zombie, 72 waiting
CPU: 1.8% user, 0.0% nice, 14.6% system, 19.1% interrupt, 64.5% idle
Mem: 904M Active, 5186M Inact, 1371M Wired, 209M Cache, 867M Buf, 170M Free
Swap: 4096M Total, 1296K Used, 4095M Free
PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU COMMAND
11 root 155 ki31 0K 192K CPU11 11 783.2H 93.90% idle{idle: cpu11}
11 root 155 ki31 0K 192K RUN 8 785.1H 91.46% idle{idle: cpu8}
11 root 155 ki31 0K 192K CPU9 9 782.9H 89.16% idle{idle: cpu9}
11 root 155 ki31 0K 192K CPU10 10 785.0H 88.96% idle{idle: cpu10}
11 root 155 ki31 0K 192K RUN 3 785.9H 84.77% idle{idle: cpu3}
11 root 155 ki31 0K 192K RUN 1 806.9H 81.49% idle{idle: cpu1}
11 root 155 ki31 0K 192K CPU2 2 787.6H 76.66% idle{idle: cpu2}
11 root 155 ki31 0K 192K RUN 5 772.4H 75.49% idle{idle: cpu5}
11 root 155 ki31 0K 192K RUN 6 772.3H 74.76% idle{idle: cpu6}
11 root 155 ki31 0K 192K RUN 4 772.9H 74.66% idle{idle: cpu4}
11 root 155 ki31 0K 192K RUN 7 771.2H 74.27% idle{idle: cpu7}
11 root 155 ki31 0K 192K CPU0 0 771.0H 72.36% idle{idle: cpu0}
5866 root 65 -15 207M 148M CPU8 8 388.6H 27.20% ipcad{ipcad}
5866 root 44 -15 207M 148M CPU1 1 320.4H 19.87% ipcad{ipcad}
12 root -92 - 0K 1248K CPU0 0 79.1H 14.16% intr{irq273: ix1:que }
76433 root 20 -15 271M 214M nanslp 9 48.6H 12.35% perl5.16.3
12 root -92 - 0K 1248K WAIT 1 36.0H 7.18% intr{irq274: ix1:que }
12 root -92 - 0K 1248K WAIT 0 32.2H 6.49% intr{irq310: igb3:que}
12 root -92 - 0K 1248K RUN 6 33.1H 5.86% intr{irq279: ix1:que }
12 root -92 - 0K 1248K WAIT 2 34.3H 5.76% intr{irq275: ix1:que }
12 root -92 - 0K 1248K WAIT 7 31.3H 5.76% intr{irq304: igb2:que}
12 root -92 - 0K 1248K WAIT 2 32.4H 5.66% intr{irq312: igb3:que}
12 root -92 - 0K 1248K WAIT 4 30.4H 5.66% intr{irq314: igb3:que}
12 root -92 - 0K 1248K WAIT 9 32.9H 5.57% intr{irq306: igb2:que}
12 root -92 - 0K 1248K RUN 6 31.5H 5.57% intr{irq303: igb2:que}
12 root -92 - 0K 1248K RUN 6 30.4H 5.57% intr{irq316: igb3:que}
12 root -92 - 0K 1248K WAIT 8 32.5H 5.37% intr{irq305: igb2:que}
12 root -92 - 0K 1248K WAIT 4 31.4H 5.27% intr{irq301: igb2:que}
12 root -92 - 0K 1248K WAIT 5 31.3H 5.27% intr{irq302: igb2:que}
12 root -92 - 0K 1248K WAIT 2 26.2H 5.27% intr{irq266: ix0:que }
12 root -92 - 0K 1248K RUN 6 25.1H 5.18% intr{irq270: ix0:que }
12 root -92 - 0K 1248K WAIT 3 34.6H 5.08% intr{irq276: ix1:que }
12 root -92 - 0K 1248K WAIT 1 33.7H 5.08% intr{irq311: igb3:que}
12 root -92 - 0K 1248K WAIT 5 33.0H 5.08% intr{irq278: ix1:que }
12 root -92 - 0K 1248K WAIT 11 32.5H 5.08% intr{irq308: igb2:que}
12 root -92 - 0K 1248K WAIT 5 30.4H 5.08% intr{irq315: igb3:que}
12 root -92 - 0K 1248K WAIT 3 32.5H 4.98% intr{irq313: igb3:que}
Название: Re: Тормозин интернет у абонентов
Отправлено: Belos от 11 Ноября 2016, 21:10:30
netstat -w1 Сначала грешил на микротик. Но если в час-пик, включиться напрямую в микротик ноутом, то на ноуте все работает на УРА. Ютуб летает, speedtest тоже. понятное дело - 1 ПК )))
Название: Re: Тормозин интернет у абонентов
Отправлено: ser970 от 11 Ноября 2016, 21:15:04
у видеть бы трафик по лапам ласпа...
и кстати top -SHP или top -SHPi более показателен....
многие процессы однопоточные.
шейп и нат на чем крутится ?
для тестов можно
ipfw add 1 allow ip from any to any
Название: Re: Тормозин интернет у абонентов
Отправлено: NTE от 11 Ноября 2016, 21:35:03
понятное дело - 1 ПК )))
Ноут был просто за сервером. Загрузка на каналах в этот момент была 1.2 гиг. Т.е. траф через микротик шуровал как и обычно. вот netstat -w1 input (Total) output
packets errs idrops bytes packets errs bytes colls
312499 0 0 285852346 292169 0 170905705 0
312615 0 0 285141543 294432 0 172413043 0
312857 0 0 285364238 294498 0 173886362 0
291622 0 0 277474132 269496 0 180725194 0
309077 0 0 289589730 287580 0 158707456 0
304175 0 0 281048883 285417 0 169023352 0
314916 0 0 291999137 293263 0 170830934 0
303441 0 0 281673140 282803 0 171178032 0
313151 0 0 290359927 291908 0 172114739 0
305862 0 0 281748137 285750 0 173901197 0
288571 0 0 264933521 270181 0 167039253 0
297678 0 0 274157694 277575 0 156464955 0
305119 0 0 280843878 285711 0 167758943 0
241205 0 0 215650391 227545 0 161048506 0
304232 0 0 278239276 286494 0 139386924 0
304615 0 0 281892485 286700 0 167715078 0
307157 0 0 286300872 287523 0 169837775 0
303510 0 0 280814955 284227 0 171561158 0
305231 0 0 280571325 287224 0 169974069 0
311581 0 0 285530429 292785 0 170756923 0
input (Total) output
packets errs idrops bytes packets errs bytes colls
307566 0 0 281616102 289954 0 170453270 0
315045 0 0 288300800 295622 0 170841177 0
315302 0 0 291130474 294991 0 173141510 0
316216 0 0 289659104 295336 0 171476474 0
319730 0 0 295665088 298407 0 172576815 0
309790 0 0 286142214 288507 0 171135693 0
312786 0 0 290661201 291413 0 170272657 0
308950 0 0 288860837 287332 0 168472459 0
315004 0 0 292320358 293192 0 175637320 0
309863 0 0 288082569 288675 0 172788259 0
310130 0 0 286149925 290718 0 171100158 0
309368 0 0 286502159 290734 0 169710036 0
314503 0 0 291726887 294798 0 172621100 0
312279 0 0 290543481 292947 0 172316527 0
291299 0 0 278790672 268165 0 183350500 0
320076 0 0 300325391 299604 0 168806414 0
315605 0 0 295276125 295375 0 176065902 0
323642 0 0 299292089 304493 0 179642860 0
324842 0 0 301341322 304131 0 181783522 0
318058 0 0 293761831 297749 0 181337281 0
315694 0 0 290875951 296557 0 176851562 0
Название: Re: Тормозин интернет у абонентов
Отправлено: NTE от 11 Ноября 2016, 21:36:59
у видеть бы трафик по лапам ласпа...
и кстати top -SHP или top -SHPi более показателен....
многие процессы однопоточные.
шейп и нат на чем крутится ?
для тестов можно
ipfw add 1 allow ip from any to any
top -SHP last pid: 60954; load averages: 3.84, 3.08, 3.05 up 40+15:35:01 22:36:11
297 processes: 18 running, 196 sleeping, 7 zombie, 76 waiting
CPU 0: 3.5% user, 0.0% nice, 6.3% system, 25.9% interrupt, 64.3% idle
CPU 1: 1.6% user, 0.0% nice, 9.0% system, 18.0% interrupt, 71.4% idle
CPU 2: 2.0% user, 0.0% nice, 14.9% system, 16.9% interrupt, 66.3% idle
CPU 3: 3.5% user, 0.0% nice, 9.4% system, 20.4% interrupt, 66.7% idle
CPU 4: 1.2% user, 0.0% nice, 9.0% system, 23.9% interrupt, 65.9% idle
CPU 5: 3.1% user, 0.0% nice, 6.7% system, 18.8% interrupt, 71.4% idle
CPU 6: 3.1% user, 0.0% nice, 7.1% system, 18.8% interrupt, 71.0% idle
CPU 7: 1.2% user, 0.0% nice, 8.6% system, 18.8% interrupt, 71.4% idle
CPU 8: 3.1% user, 0.0% nice, 21.6% system, 5.5% interrupt, 69.8% idle
CPU 9: 3.5% user, 0.0% nice, 20.0% system, 7.1% interrupt, 69.4% idle
CPU 10: 2.0% user, 0.0% nice, 20.4% system, 6.7% interrupt, 71.0% idle
CPU 11: 5.5% user, 0.0% nice, 20.0% system, 7.8% interrupt, 66.7% idle
Mem: 910M Active, 5180M Inact, 1422M Wired, 173M Cache, 1649M Buf, 156M Free
Swap: 4096M Total, 1296K Used, 4095M Free
PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU COMMAND
11 root 155 ki31 0K 192K CPU9 9 783.6H 94.09% idle{idle: cpu9}
11 root 155 ki31 0K 192K RUN 8 785.9H 93.55% idle{idle: cpu8}
11 root 155 ki31 0K 192K CPU10 10 785.8H 93.46% idle{idle: cpu10}
11 root 155 ki31 0K 192K CPU11 11 784.0H 88.87% idle{idle: cpu11}
11 root 155 ki31 0K 192K CPU2 2 788.3H 83.50% idle{idle: cpu2}
11 root 155 ki31 0K 192K RUN 6 773.0H 82.67% idle{idle: cpu6}
11 root 155 ki31 0K 192K RUN 5 773.1H 82.18% idle{idle: cpu5}
11 root 155 ki31 0K 192K CPU4 4 773.6H 81.79% idle{idle: cpu4}
11 root 155 ki31 0K 192K CPU3 3 786.7H 81.49% idle{idle: cpu3}
11 root 155 ki31 0K 192K CPU7 7 771.9H 81.40% idle{idle: cpu7}
11 root 155 ki31 0K 192K CPU1 1 807.7H 81.30% idle{idle: cpu1}
11 root 155 ki31 0K 192K CPU0 0 771.8H 79.30% idle{idle: cpu0}
76433 root 20 -15 271M 214M nanslp 1 48.9H 22.75% perl5.16.3
5866 root 34 -15 207M 148M CPU0 0 321.1H 13.57% ipcad{ipcad}
12 root -92 - 0K 1248K WAIT 0 79.3H 11.57% intr{irq273: ix1:que }
5866 root 39 -15 207M 148M CPU9 9 389.5H 8.06% ipcad{ipcad}
12 root -92 - 0K 1248K WAIT 3 32.6H 5.66% intr{irq313: igb3:que}
12 root -92 - 0K 1248K WAIT 3 34.7H 5.37% intr{irq276: ix1:que }
12 root -92 - 0K 1248K WAIT 9 33.0H 5.37% intr{irq306: igb2:que}
12 root -92 - 0K 1248K WAIT 2 34.4H 5.27% intr{irq275: ix1:que }
12 root -92 - 0K 1248K WAIT 1 33.8H 5.27% intr{irq311: igb3:que}
12 root -92 - 0K 1248K RUN 5 30.5H 4.98% intr{irq315: igb3:que}
12 root -92 - 0K 1248K WAIT 8 32.6H 4.88% intr{irq305: igb2:que}
12 root -92 - 0K 1248K WAIT 4 31.5H 4.79% intr{irq301: igb2:que}
5955 root 20 -15 64580K 17516K nanslp 11 28.8H 4.79% perl5.16.3
12 root -92 - 0K 1248K WAIT 7 33.6H 4.69% intr{irq280: ix1:que } шейпит этот же сервер. натит микротик, который за ним
Название: Re: Тормозин интернет у абонентов
Отправлено: ser970 от 11 Ноября 2016, 21:38:54
при отключении шейпера траф растет ?
Название: Re: Тормозин интернет у абонентов
Отправлено: NTE от 11 Ноября 2016, 21:54:31
при отключении шейпера траф растет ?
Как его правильно отключить чтобы ничего не поломать?
Название: Re: Тормозин интернет у абонентов
Отправлено: ser970 от 11 Ноября 2016, 21:57:13
ipfw l (L маленькая)
если нет 1 правила то
ipfw add 1 allow ip from any to any
после ipfw del 1
Название: Re: Тормозин интернет у абонентов
Отправлено: NTE от 11 Ноября 2016, 22:28:18
ipfw l (L маленькая)
если нет 1 правила то
ipfw add 1 allow ip from any to any
после ipfw del 1
Спасибо! Завтра в час-пик проверю.
Название: Re: Тормозин интернет у абонентов
Отправлено: NTE от 12 Ноября 2016, 18:53:10
ipfw l (L маленькая)
если нет 1 правила то
ipfw add 1 allow ip from any to any
после ipfw del 1
Проверил. После отключения шейпера траф конкретно вырастает.
Название: Re: Тормозин интернет у абонентов
Отправлено: ser970 от 12 Ноября 2016, 19:14:40
по ходу упирается в шейп по процу
попробуйте не резать исход.
+
100м тарифы не пускайте в шейп.
+
проверьте на трафик по 53 и 123 портам ....
Название: Re: Тормозин интернет у абонентов
Отправлено: NTE от 12 Ноября 2016, 21:18:28
по ходу упирается в шейп по процу
попробуйте не резать исход.
+
100м тарифы не пускайте в шейп.
+
проверьте на трафик по 53 и 123 портам ....
Видимо правда проблема в шейпе... При отключенном траф растет до 2 гиг и сайты начинают "летать", ютуб тоже начинает отлично работать. 123 порт - траф до 6 кбит 53 порт - траф до 300 кбит "не резать исход и 100мбит тарифы не шейпить" настраивать в админке через настройку тарифов? Кстати у нас очень мало абонентов, у который тариф 100мб. И что значит "упирается в шейп по процу"? Вроде сервак нормальный и ресурсы процов меньше чем на половину задействованны. Может что-то тюнинговать надо на серваке? Спасибо!!!
Название: Re: Тормозин интернет у абонентов
Отправлено: ser970 от 12 Ноября 2016, 21:38:26
процессы динамические и собственно гуляют по ядрам
можно прибить cpuset
шейпер однопоточный - тут как ни крути а тактовая играет роль .... hz можно понизить но... тут свои ньюансы
тюнинг сетевой - не особо поможет ( хотя и чуть разгрузит проц)
больше играют роль правила фаера и шейпера
оптимально
1 - переписать глобально фаер (уменьшить кол-во правил)
2 - не шейпить 100м тарифы - они и так портом зарезаны - а ресурсы в шейпере занимают.
3 - не резать исход - при нормальном трафике смысла особого нету ...
для этого надо изменить nofire.pl
Название: Re: Тормозин интернет у абонентов
Отправлено: sand-max от 05 Октября 2017, 14:26:10
Решили проблему? У меня похожая
Название: Re: Тормозин интернет у абонентов
Отправлено: ser970 от 05 Октября 2017, 19:22:11
Решили проблему? У меня похожая
ну для начала бы uname -an ipfw l top -SHPi netstat -w1 ifconfig
Название: Re: Тормозин интернет у абонентов
Отправлено: sand-max от 06 Октября 2017, 18:06:59
[root@gw ~]# uname -an
FreeBSD ***net 10.2-RELEASE-p20 FreeBSD 10.2-RELEASE-p20 #0 r304595: Mon Aug 22 16:54:52 MSK 2016 root@***net:/usr/src/sys/amd64/compile/BAYDAR amd64
[root@gw ~]# ipfw l
ipfw: DEPRECATED: 'l' matched 'list' as a sub-string
00040 allow ip from 95.46.122.242 to any
00040 allow ip from any to 95.46.122.242
00050 allow tcp from any to me dst-port 2240,53,10050
00051 allow tcp from me 2240,53,10050 to any
00052 allow ip from any to me dst-port 53
00053 allow ip from me 53 to any
00055 allow ip from 95.46.122.245 to 10.10.0.1
00055 allow ip from 10.10.0.1 to 95.46.122.245
00056 allow ip from 95.46.122.248 to any
00056 allow ip from any to 95.46.122.248
00057 allow ip from 95.46.2.3 to any
00057 allow ip from any to 95.46.2.3
00061 allow ip from 95.46.122.249 to any
00061 allow ip from any to 95.46.122.249
00062 allow ip from 10.10.0.1 to table(30) dst-port 3000
00062 allow ip from table(30) 3000 to 10.10.0.1
00063 allow udp from 10.10.0.1 to 109.195.19.73 dst-port 123
00063 allow udp from 109.195.19.73 123 to 10.10.0.1
00110 allow ip from any to any via lo0
00120 skipto 1000 ip from me to any
00130 deny icmp from any to any in icmptypes 5,9,13,14,15,16,17
00160 skipto 2000 ip from any to me
00200 skipto 500 ip from any to any via vlan1001
00300 skipto 4500 ip from any to any in
00400 skipto 450 ip from any to any recv vlan1001
00420 divert 1 ip from any to any
00450 divert 2 ip from any to any
00490 allow ip from any to any
00500 skipto 32500 ip from any to any in
00510 divert 1 ip from any to any
00540 allow ip from any to any
01000 allow udp from any 53,7723 to any
01010 allow tcp from any to any setup keep-state
01020 allow udp from any to any keep-state
01100 allow ip from any to any
02000 check-state
02010 allow icmp from any to any
02020 allow tcp from any to any dst-port 22,80,443,5006
02030 allow tcp from table(101) to any dst-port 3306
02050 deny ip from any to any via vlan1001
02060 allow udp from any to any dst-port 53,7723
02100 deny ip from any to any
04500 allow ip from any to table(100)
05000 skipto 18501 ip from table(24) to table(14)
05001 allow ip from table(44) to table(14)
05002 skipto 18502 ip from table(21) to table(11)
05003 allow ip from table(41) to table(11)
18500 deny ip from any to any
18501 pipe tablearg ip from table(24) to any
18502 pipe tablearg ip from table(21) to any
32000 deny ip from any to any
32490 deny ip from any to any
32500 allow ip from table(100) to any
33000 skipto 46501 ip from table(14) to table(34)
33001 allow ip from table(14) to table(44)
33002 skipto 46502 ip from table(11) to table(31)
33003 allow ip from table(11) to table(41)
46500 deny ip from any to any
46501 pipe tablearg ip from any to table(34)
46502 pipe tablearg ip from any to table(31)
60000 deny ip from any to any
65535 deny ip from any to any
[root@gw ~]#
[root@gw ~]# top -SHPi
last pid: 15004; load averages: 1.39, 1.57, 1.69 up 14+02:33:49 19:01:00
291 processes: 8 running, 245 sleeping, 38 waiting
CPU 0: 0.8% user, 0.0% nice, 12.2% system, 27.5% interrupt, 59.5% idle
CPU 1: 3.8% user, 0.0% nice, 21.0% system, 7.6% interrupt, 67.6% idle
CPU 2: 2.7% user, 0.0% nice, 19.5% system, 6.9% interrupt, 71.0% idle
CPU 3: 4.6% user, 0.0% nice, 20.6% system, 7.6% interrupt, 67.2% idle
Mem: 108M Active, 410M Inact, 914M Wired, 2422M Free
ARC: 416M Total, 30M MFU, 298M MRU, 16K Anon, 9726K Header, 79M Other
Swap: 2048M Total, 2048M Free
PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU COMMAND
11 root 155 ki31 0K 64K RUN 2 240.7H 78.27% idle{idle: cpu2}
11 root 155 ki31 0K 64K RUN 3 240.3H 77.59% idle{idle: cpu3}
11 root 155 ki31 0K 64K CPU1 1 240.2H 76.56% idle{idle: cpu1}
11 root 155 ki31 0K 64K CPU0 0 231.1H 71.44% idle{idle: cpu0}
2339 root 45 -15 71636K 51184K CPU0 0 118.4H 44.73% ipcad{ipcad}
2339 root 21 -15 71636K 51184K sbwait 1 60.7H 20.02% ipcad{ipcad}
12 root -92 - 0K 624K WAIT 0 26.7H 10.55% intr{irq264: igb0:que}
12 root -92 - 0K 624K WAIT 0 26.0H 9.47% intr{irq280: igb3:que}
12 root -92 - 0K 624K WAIT 3 515:49 3.56% intr{irq272: igb1:que}
12 root -92 - 0K 624K CPU1 1 525:34 3.27% intr{irq270: igb1:que}
12 root -92 - 0K 624K WAIT 2 519:02 2.93% intr{irq271: igb1:que}
12 root -92 - 0K 624K WAIT 3 384:40 2.93% intr{irq278: igb2:que}
12 root -92 - 0K 624K WAIT 2 380:08 2.83% intr{irq277: igb2:que}
12 root -92 - 0K 624K WAIT 1 374:07 2.73% intr{irq276: igb2:que}
12 root -92 - 0K 624K WAIT 0 491:04 2.69% intr{irq269: igb1:que}
12 root -92 - 0K 624K WAIT 0 446:29 1.66% intr{irq275: igb2:que}
1841 unbound 21 0 65840K 37100K select 3 295:11 0.93% unbound
2351 root 20 0 167M 123M CPU3 3 250:23 0.88% perl
2247 root 20 0 130M 30756K select 2 203:41 0.63% mpd5{mpd5}
0 root -92 0 0K 2720K - 0 23.4H 0.00% kernel{dummynet}
2350 root 20 0 256M 191M select 3 352:57 0.00% perl{perl}
14 root -16 - 0K 16K - 3 136:55 0.00% rand_harvestq
12 root -92 - 0K 624K WAIT 3 43:38 0.00% intr{irq267: igb0:que}
12 root -92 - 0K 624K WAIT 1 42:34 0.00% intr{irq281: igb3:que}
12 root -92 - 0K 624K WAIT 2 42:19 0.00% intr{irq282: igb3:que}
12 root -92 - 0K 624K WAIT 1 41:57 0.00% intr{irq265: igb0:que}
12 root -92 - 0K 624K WAIT 2 41:51 0.00% intr{irq266: igb0:que}
12 root -92 - 0K 624K WAIT 3 41:18 0.00% intr{irq283: igb3:que}
15 root -68 - 0K 128K - 0 38:11 0.00% usb{usbus1}
12 root -60 - 0K 624K WAIT 0 34:46 0.00% intr{swi4: clock}
15 root -68 - 0K 128K - 3 11:03 0.00% usb{usbus1}
2350 root 20 0 256M 191M select 1 8:59 0.00% perl{perl}
12 root -88 - 0K 624K WAIT 1 8:57 0.00% intr{irq23: ehci1}
2041 root 20 0 14512K 2064K select 0 3:28 0.00% syslogd
15 root -72 - 0K 128K - 3 2:50 0.00% usb{usbus1}
0 root -92 0 0K 2720K - 2 2:33 0.00% kernel{igb3 que}
4 root -16 - 0K 16K pftm 1 1:47 0.00% pf purge
2250 root -16 - 0K 64K sleep 2 1:44 0.00% ng_queue{ng_queue1}
2250 root -16 - 0K 64K sleep 3 1:43 0.00% ng_queue{ng_queue3}
2250 root -16 - 0K 64K sleep 3 1:42 0.00% ng_queue{ng_queue0}
2250 root -16 - 0K 64K sleep 0 1:42 0.00% ng_queue{ng_queue2}
2308 zabbix 20 0 34624K 4124K nanslp 1 1:22 0.00% zabbix_agentd
17 root 16 - 0K 16K syncer 3 1:16 0.00% syncer
2312 zabbix 20 0 34624K 4772K nanslp 2 0:56 0.00% zabbix_agentd
12 root -72 - 0K 624K WAIT 1 0:53 0.00% intr{swi1: netisr 0}
[root@gw ~]# netstat -w1
input (Total) output
packets errs idrops bytes packets errs bytes colls
222825 0 0 184313706 246382 0 249777429 0
231811 0 0 190806134 254735 0 258207165 0
215541 0 0 176812297 236122 0 237464269 0
225979 0 0 186649975 247574 0 250567394 0
220435 0 0 185706819 242786 0 246016911 0
190266 0 0 154933854 208332 0 206262297 0
188011 0 0 158221425 206571 0 209232713 0
201472 0 0 169250325 221623 0 224346479 0
223117 0 0 188360814 247327 0 253591895 0
227126 0 0 187997717 248402 0 251787621 0
215818 0 0 179676365 236876 0 238805777 0
211471 0 0 178181059 232395 0 233784649 0
223012 0 0 189325210 247016 0 252558120 0
221785 0 0 183588506 242000 0 243654189 0
234952 0 0 192546752 253546 0 249920606 0
199158 0 0 166842417 217052 0 218577189 0
218997 0 0 185114747 242148 0 250111919 0
221641 0 0 187514263 245028 0 255382038 0
199824 0 0 167886236 218315 0 223960755 0
197902 0 0 165312089 215912 0 219170229 0
234225 0 0 194056934 256095 0 261331936 0
Название: Re: Тормозин интернет у абонентов
Отправлено: sand-max от 06 Октября 2017, 18:07:39
[root@gw ~]# ifconfig
igb0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=403bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,TSO6,VLAN_HWTSO>
ether 00:1b:21:c1:21:2c
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
igb1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=403bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,TSO6,VLAN_HWTSO>
ether 00:1b:21:c1:21:2d
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
re0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=8209b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,WOL_MAGIC,LINKSTATE>
ether 8c:89:a5:c7:ff:12
inet 192.168.0.13 netmask 0xffffff00 broadcast 192.168.0.255
media: Ethernet autoselect (none)
status: no carrier
igb2: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=403bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,TSO6,VLAN_HWTSO>
ether 00:1b:21:9f:96:08
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
igb3: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=403bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,TSO6,VLAN_HWTSO>
ether 00:1b:21:9f:96:09
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> metric 0 mtu 16384
options=600003<RXCSUM,TXCSUM,RXCSUM_IPV6,TXCSUM_IPV6>
inet 127.0.0.1 netmask 0xff000000
inet 95.46.2.1 netmask 0xffffffff
inet 95.46.122.1 netmask 0xffffffff
vlan1000: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=303<RXCSUM,TXCSUM,TSO4,TSO6>
ether 00:1b:21:9f:96:08
inet 95.46.122.254 netmask 0xfffffff0 broadcast 95.46.122.255
inet 95.46.2.1 netmask 0xffffffff broadcast 95.46.2.1
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
vlan: 1000 parent interface: igb2
vlan1001: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=303<RXCSUM,TXCSUM,TSO4,TSO6>
ether 00:1b:21:c1:21:2d
inet 95.46.2.1 netmask 0xfffffff0 broadcast 95.46.2.15
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
vlan: 1001 parent interface: igb1
vlan1335: flags=8002<BROADCAST,MULTICAST> metric 0 mtu 1500
ether 00:00:00:00:00:00
vlan: 0 parent interface: <none>
vlan1336: flags=8002<BROADCAST,MULTICAST> metric 0 mtu 1500
ether 00:00:00:00:00:00
vlan: 0 parent interface: <none>
vlan3153: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=303<RXCSUM,TXCSUM,TSO4,TSO6>
ether 00:1b:21:c1:21:2d
inet 10.10.0.2 netmask 0xffffff00 broadcast 10.10.0.255
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
vlan: 3153 parent interface: igb1
vlan3154: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=303<RXCSUM,TXCSUM,TSO4,TSO6>
ether 00:1b:21:c1:21:2d
inet 10.0.0.1 netmask 0xfffffffc broadcast 10.0.0.3
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
vlan: 3154 parent interface: igb1
vlan3155: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=303<RXCSUM,TXCSUM,TSO4,TSO6>
ether 00:1b:21:c1:21:2d
inet 10.10.9.1 netmask 0xffffff00 broadcast 10.10.9.255
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
vlan: 3155 parent interface: igb1
vlan2: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=303<RXCSUM,TXCSUM,TSO4,TSO6>
ether 00:1b:21:c1:21:2c
inet 172.16.0.1 netmask 0xffffff00 broadcast 172.16.0.255
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
vlan: 2 parent interface: igb0
vlan3: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=303<RXCSUM,TXCSUM,TSO4,TSO6>
ether 00:1b:21:c1:21:2c
inet 10.10.10.1 netmask 0xffffff00 broadcast 10.10.10.255
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
vlan: 3 parent interface: igb0
vlan4: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=303<RXCSUM,TXCSUM,TSO4,TSO6>
ether 00:1b:21:c1:21:2c
inet 10.10.11.1 netmask 0xffffff00 broadcast 10.10.11.255
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
vlan: 4 parent interface: igb0
vlan5: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=303<RXCSUM,TXCSUM,TSO4,TSO6>
ether 00:1b:21:c1:21:2c
inet 10.10.12.1 netmask 0xffffff00 broadcast 10.10.12.255
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
vlan: 5 parent interface: igb0
vlan6: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=303<RXCSUM,TXCSUM,TSO4,TSO6>
ether 00:1b:21:c1:21:2c
inet 10.10.13.1 netmask 0xffffff00 broadcast 10.10.13.255
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
vlan: 6 parent interface: igb0
vlan7: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=303<RXCSUM,TXCSUM,TSO4,TSO6>
ether 00:1b:21:c1:21:2c
inet 10.10.14.1 netmask 0xffffff00 broadcast 10.10.14.255
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
vlan: 7 parent interface: igb0
vlan8: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=303<RXCSUM,TXCSUM,TSO4,TSO6>
ether 00:1b:21:c1:21:2c
inet 10.10.15.1 netmask 0xffffff00 broadcast 10.10.15.255
inet 95.46.122.254 netmask 0xffffffff broadcast 95.46.122.254
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
vlan: 8 parent interface: igb0
vlan9: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=303<RXCSUM,TXCSUM,TSO4,TSO6>
ether 00:1b:21:c1:21:2c
inet 10.10.16.1 netmask 0xffffff00 broadcast 10.10.16.255
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
vlan: 9 parent interface: igb0
vlan10: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=303<RXCSUM,TXCSUM,TSO4,TSO6>
ether 00:1b:21:c1:21:2c
inet 10.10.17.1 netmask 0xffffff00 broadcast 10.10.17.255
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
vlan: 10 parent interface: igb0
vlan11: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=303<RXCSUM,TXCSUM,TSO4,TSO6>
ether 00:1b:21:c1:21:2c
inet 10.10.18.1 netmask 0xffffff00 broadcast 10.10.18.255
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
vlan: 11 parent interface: igb0
vlan12: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=303<RXCSUM,TXCSUM,TSO4,TSO6>
ether 00:1b:21:9f:96:09
inet 10.10.19.1 netmask 0xffffff00 broadcast 10.10.19.255
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
vlan: 12 parent interface: igb3
vlan13: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=303<RXCSUM,TXCSUM,TSO4,TSO6>
ether 00:1b:21:c1:21:2c
inet 10.10.20.1 netmask 0xffffff00 broadcast 10.10.20.255
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
vlan: 13 parent interface: igb0
vlan14: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=303<RXCSUM,TXCSUM,TSO4,TSO6>
ether 00:1b:21:9f:96:09
inet 10.10.21.1 netmask 0xffffff00 broadcast 10.10.21.255
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
vlan: 14 parent interface: igb3
vlan15: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=303<RXCSUM,TXCSUM,TSO4,TSO6>
ether 00:1b:21:9f:96:09
inet 10.10.22.1 netmask 0xffffff00 broadcast 10.10.22.255
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
vlan: 15 parent interface: igb3
vlan16: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=303<RXCSUM,TXCSUM,TSO4,TSO6>
ether 00:1b:21:c1:21:2c
inet 10.10.23.1 netmask 0xffffff00 broadcast 10.10.23.255
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
vlan: 16 parent interface: igb0
vlan17: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=303<RXCSUM,TXCSUM,TSO4,TSO6>
ether 00:1b:21:c1:21:2c
inet 10.10.24.1 netmask 0xffffff00 broadcast 10.10.24.255
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
vlan: 17 parent interface: igb0
vlan18: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=303<RXCSUM,TXCSUM,TSO4,TSO6>
ether 00:1b:21:c1:21:2c
inet 10.10.25.1 netmask 0xffffff00 broadcast 10.10.25.255
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
vlan: 18 parent interface: igb0
vlan19: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=303<RXCSUM,TXCSUM,TSO4,TSO6>
ether 00:1b:21:c1:21:2c
inet 10.10.26.1 netmask 0xffffff00 broadcast 10.10.26.255
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
vlan: 19 parent interface: igb0
vlan20: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=303<RXCSUM,TXCSUM,TSO4,TSO6>
ether 00:1b:21:c1:21:2c
inet 10.10.27.1 netmask 0xffffff00 broadcast 10.10.27.255
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
vlan: 20 parent interface: igb0
vlan21: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=303<RXCSUM,TXCSUM,TSO4,TSO6>
ether 00:1b:21:c1:21:2c
inet 10.10.28.1 netmask 0xffffff00 broadcast 10.10.28.255
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
vlan: 21 parent interface: igb0
vlan22: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=303<RXCSUM,TXCSUM,TSO4,TSO6>
ether 00:1b:21:c1:21:2c
inet 10.10.29.1 netmask 0xffffff00 broadcast 10.10.29.255
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
vlan: 22 parent interface: igb0
vlan23: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=303<RXCSUM,TXCSUM,TSO4,TSO6>
ether 00:1b:21:c1:21:2c
inet 10.10.30.1 netmask 0xffffff00 broadcast 10.10.30.255
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
vlan: 23 parent interface: igb0
vlan24: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=303<RXCSUM,TXCSUM,TSO4,TSO6>
ether 00:1b:21:c1:21:2c
inet 10.10.31.1 netmask 0xffffff00 broadcast 10.10.31.255
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
vlan: 24 parent interface: igb0
vlan25: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=303<RXCSUM,TXCSUM,TSO4,TSO6>
ether 00:1b:21:c1:21:2c
inet 10.10.32.1 netmask 0xffffff00 broadcast 10.10.32.255
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
vlan: 25 parent interface: igb0
ng2: flags=88d1<UP,POINTOPOINT,RUNNING,NOARP,SIMPLEX,MULTICAST> metric 0 mtu 1400
inet 95.46.2.1 --> 95.46.122.105 netmask 0xffffffff
ng3: flags=88d1<UP,POINTOPOINT,RUNNING,NOARP,SIMPLEX,MULTICAST> metric 0 mtu 1400
inet 95.46.2.1 --> 95.46.2.44 netmask 0xffffffff
ng4: flags=88d1<UP,POINTOPOINT,RUNNING,NOARP,SIMPLEX,MULTICAST> metric 0 mtu 1400
inet 95.46.2.1 --> 95.46.2.196 netmask 0xffffffff
ng9: flags=88d1<UP,POINTOPOINT,RUNNING,NOARP,SIMPLEX,MULTICAST> metric 0 mtu 1492
inet 95.46.2.1 --> 95.46.3.220 netmask 0xffffffff
ng13: flags=88d1<UP,POINTOPOINT,RUNNING,NOARP,SIMPLEX,MULTICAST> metric 0 mtu 1492
inet 95.46.2.1 --> 95.46.2.39 netmask 0xffffffff
ng36: flags=88d1<UP,POINTOPOINT,RUNNING,NOARP,SIMPLEX,MULTICAST> metric 0 mtu 1480
inet 95.46.2.1 --> 95.46.2.77 netmask 0xffffffff
ng60: flags=88d1<UP,POINTOPOINT,RUNNING,NOARP,SIMPLEX,MULTICAST> metric 0 mtu 1480
inet 95.46.2.1 --> 95.46.122.52 netmask 0xffffffff
ng76: flags=88d1<UP,POINTOPOINT,RUNNING,NOARP,SIMPLEX,MULTICAST> metric 0 mtu 1480
inet 95.46.2.1 --> 95.46.3.217 netmask 0xffffffff
ng98: flags=88d1<UP,POINTOPOINT,RUNNING,NOARP,SIMPLEX,MULTICAST> metric 0 mtu 1480
inet 95.46.2.1 --> 95.46.3.210 netmask 0xffffffff
ng99: flags=88d1<UP,POINTOPOINT,RUNNING,NOARP,SIMPLEX,MULTICAST> metric 0 mtu 1480
inet 95.46.2.1 --> 95.46.122.100 netmask 0xffffffff
ng186: flags=88d1<UP,POINTOPOINT,RUNNING,NOARP,SIMPLEX,MULTICAST> metric 0 mtu 1480
inet 95.46.2.1 --> 95.46.122.179 netmask 0xffffffff
ng203: flags=88d1<UP,POINTOPOINT,RUNNING,NOARP,SIMPLEX,MULTICAST> metric 0 mtu 1480
inet 95.46.2.1 --> 95.46.2.198 netmask 0xffffffff
POINTOPOINT интерфейсов много [root@gw ~]# ifconfig | grep POINTOPOINT | wc -l
630
[root@gw ~]#
Название: Re: Тормозин интернет у абонентов
Отправлено: ser970 от 06 Октября 2017, 19:09:31
это в момент когда лагает ?
если да то
сколько онлайн ?
сколько траифка ?
sysctl -a | grep igb.0
sysctl -a | grep dummynet.pipe
sysctl -a | grep route.n
cat /etc/pf.conf
p/s. использовать diver для ipcad плохая идея.
для тестов
ipfw add 1 allow ip from any to any
если перестало лагать то
ipfw del 1
и
ipfw del 420
ipfw del 450
ipfw del 510
лагает ?
вернуть назад
ipfw add 420 divert 1 ip from any to any
ipfw add 450 divert 2 ip from any to any
ipfw add 510 divert 1 ip from any to any
Название: Re: Тормозин интернет у абонентов
Отправлено: goletsa от 29 Ноября 2017, 10:20:12
Да стандартная проблема с ipfw divert, переделать на tee или ng_netflow, на форуме были правила.
Название: Re: Тормозин интернет у абонентов
Отправлено: WideAreaNetwork от 05 Января 2019, 13:29:07
оптимально
1 - переписать глобально фаер (уменьшить кол-во правил)
а какое количество считается уже проблемным?
Название: Re: Тормозин интернет у абонентов
Отправлено: ser970 от 05 Января 2019, 15:16:17
оптимально
1 - переписать глобально фаер (уменьшить кол-во правил)
а какое количество считается уже проблемным? 1 абонент - уже потенциальная проблема. тут нету зависимости от кол-ва абонов... больше PPS и прочей лабуды играет роль.... + топология + брас нас +и т.д. МХ960 и 30к мало... а тазик на селероне загнется и при 200абонов( не факт).
Название: Re: Тормозин интернет у абонентов
Отправлено: AmiGoSS от 26 Января 2020, 17:14:10
оптимально
1 - переписать глобально фаер (уменьшить кол-во правил)
Сергей, можно подробней плиз, какие варианты уменьшения колич. правил
Название: Re: Тормозин интернет у абонентов
Отправлено: ser970 от 27 Января 2020, 01:05:25
оптимально
1 - переписать глобально фаер (уменьшить кол-во правил)
ржать
Сергей, можно подробней плиз, какие варианты уменьшения колич. правил
нету универсального решения. все зависит от топологии и прочего. иначе можно было бы просто написать кнопку сделать все за%%сь, и не держать админа.
Название: Re: Тормозин интернет у абонентов
Отправлено: WideAreaNetwork от 16 Февраля 2020, 16:53:30
ipfw del 420
ipfw del 450
ipfw del 510
лагает ?
перестает лагать, есть смысл ipcad выводить на отдельное железо? или вообще уйти от сбора трафика?
Название: Re: Тормозин интернет у абонентов
Отправлено: goletsa от 16 Февраля 2020, 17:47:22
Попробовать использовать ng_netflow
Название: Re: Тормозин интернет у абонентов
Отправлено: ser970 от 16 Февраля 2020, 20:21:21
ipfw del 420
ipfw del 450
ipfw del 510
лагает ?
перестает лагать, есть смысл ipcad выводить на отдельное железо? или вообще уйти от сбора трафика? divert на tee лаги должны пропасть... divert отправляет пакет в ipcad и ждет возврата пакета. tee работает с копией пакета. divert - гарантированно будет записан каждый пакет. отсюда и лаги. tee - ну не хватило ресурсов пакет не записался... в нынешних тарифах (безлим) divert избыточен. з.ы. кроме фаера надо менять и /usr/local/etc/ipcad.conf И рестарт Ipcad если в ipcad.conf стоит tee а в ipfw divert то инет работать не будет.
Название: Re: Тормозин интернет у абонентов
Отправлено: WideAreaNetwork от 16 Февраля 2020, 23:28:19
спасибо, попробую
Название: Re: Тормозин интернет у абонентов
Отправлено: WideAreaNetwork от 18 Февраля 2020, 21:02:13
з.ы. кроме фаера надо менять и /usr/local/etc/ipcad.conf И рестарт Ipcad
если в ipcad.conf стоит tee а в ipfw divert то инет работать не
будет.
еще раз спасибо, помогло, но железку пора будет менять, упирается в ресурсы, да и старая она
Название: Re: Тормозин интернет у абонентов
Отправлено: ser970 от 18 Февраля 2020, 21:53:17
ну можно попробовать исходящий траф не шейтипть....
Название: Re: Тормозин интернет у абонентов
Отправлено: WideAreaNetwork от 19 Февраля 2020, 00:13:53
ну можно попробовать исходящий траф не шейтипть....
это возможно только изменением правил nofire.pl ?
Название: Re: Тормозин интернет у абонентов
Отправлено: ser970 от 19 Февраля 2020, 10:45:42
ну можно попробовать исходящий траф не шейтипть....
это возможно только изменением правил nofire.pl ? можно разными способами. можно просто тупо после старта изменить правило фаера с консоли....
Название: Re: Тормозин интернет у абонентов
Отправлено: WideAreaNetwork от 21 Февраля 2020, 10:33:57
а привязка шейпера к 0 ядру снизит нагрузку? или не стоит этим заниматься?
Название: Re: Тормозин интернет у абонентов
Отправлено: elite от 21 Февраля 2020, 14:32:48
это первое, что обычно делают
Название: Re: Тормозин интернет у абонентов
Отправлено: ser970 от 22 Февраля 2020, 22:29:56
там судя по top надо смотреть систему....
сильный разбаланс idle....
Название: Re: Тормозин интернет у абонентов
Отправлено: WideAreaNetwork от 26 Февраля 2020, 10:13:44
там судя по top надо смотреть систему....
сильный разбаланс idle....
ipcad с dummynet прыгают по ядрам
Название: Re: Тормозин интернет у абонентов
Отправлено: ser970 от 26 Февраля 2020, 11:39:26
cpuset
шейпер к 0 ядру
карточки по другим ядрам
Название: Re: Тормозин интернет у абонентов
Отправлено: ser970 от 26 Февраля 2020, 19:14:12
Или дайте доступ я гляну....
Название: Re: Тормозин интернет у абонентов
Отправлено: WideAreaNetwork от 29 Февраля 2020, 19:15:35
курю мануалы пока, интересно самому сделать, обязательно обращусь если не смогу по шейперу, прибил dummynet к 0 ядру, с прерываниями карточек пока изучаю в голову приходит сделать procstat -at | grep igb | grep intr | awk '{print $2}' потом по идее надо это загнать в переменную $TID, и или так делать нельзя и надо каждую карточку прибивать отдельно к какому-то ядру?
Название: Re: Тормозин интернет у абонентов
Отправлено: ser970 от 29 Февраля 2020, 19:43:41
можно и так.
+
подкрутить sysctl
очереди и роуты
Название: Re: Тормозин интернет у абонентов
Отправлено: WideAreaNetwork от 29 Февраля 2020, 19:52:08
можно и так.
+
подкрутить sysctl
очереди и роуты
спасибо sysctl изучаю, что возможно и как тюнить а про роуты и очередя не понял, можно немножко поподробней?
Название: Re: Тормозин интернет у абонентов
Отправлено: ser970 от 29 Февраля 2020, 20:34:25
имелось ввиду
pipe
net.inet.ip.dummynet.pipe_slot_limit
route
net.route.netisr_maxqlen
igb
dev.igb.0.rx_processing_limit
и так далее...
+
-rxcsum -txcsum -tso4 -lro
Название: Re: Тормозин интернет у абонентов
Отправлено: WideAreaNetwork от 01 Марта 2020, 07:57:34
имелось ввиду
pipe
net.inet.ip.dummynet.pipe_slot_limit
route
net.route.netisr_maxqlen
igb
dev.igb.0.rx_processing_limit
и так далее...
+
-rxcsum -txcsum -tso4 -lro
понял, почему-то подумал что окромя sysctl, пока изучаю дабы не крутить как попало
Название: Re: Тормозин интернет у абонентов
Отправлено: WideAreaNetwork от 03 Марта 2020, 19:42:47
-rxcsum -txcsum -tso4 -lro отключений этих параметров производится на физическом интерфейсе или виртуальном? так как используется lagg - для агрегации портов, и vlan - для сегментации сети
Название: Re: Тормозин интернет у абонентов
Отправлено: Gosha от 03 Марта 2020, 19:46:15
У меня на физическом интерфейсе. ifconfig_ix0="-rxcsum -txcsum -lro -tso up"
Название: Re: Тормозин интернет у абонентов
Отправлено: ser970 от 03 Марта 2020, 20:42:33
делается на физическом
остальные наследуют родителя по умолчанию....
Название: Re: Тормозин интернет у абонентов
Отправлено: WideAreaNetwork от 20 Марта 2020, 08:40:20
igb
dev.igb.0.rx_processing_limit
если в loader.conf прописать hw.igb.rx_process_limit это будет одно и тоже?
Название: Re: Тормозин интернет у абонентов
Отправлено: ser970 от 20 Марта 2020, 09:41:42
igb
dev.igb.0.rx_processing_limit
если в loader.conf прописать hw.igb.rx_process_limit это будет одно и тоже? да. hw.igb.rx_process_limit = глобально для всех igb. dev.igb.0.rx_processing_limit = только для igb0. в этом разница.
Название: Re: Тормозин интернет у абонентов
Отправлено: WideAreaNetwork от 20 Марта 2020, 11:16:00
hw.igb.rx_process_limit = глобально для всех igb.
dev.igb.0.rx_processing_limit = только для igb0.
в этом разница.
понял, тут все выкручивают на максимум, не играются с параметром, есть смысл в лоадере оставить так как меняться не будет также интересно по tx его практически никто не увеличивает, интересно почему
Название: Re: Тормозин интернет у абонентов
Отправлено: ser970 от 20 Марта 2020, 15:35:10
tx - не дает существенного прироста поэтому и не крутят...
Название: Re: Тормозин интернет у абонентов
Отправлено: WideAreaNetwork от 20 Марта 2020, 21:12:55
пока сделал такие изменения, заменили процы с 2хL5420 @ 2.50GHz на 2хL5420 @ 3.00GHz, все таки частота в нашем деле играет роль, как и смена архитектуры на поболее новее, также добавил в loader и sysctl loader.conf
pf_load="YES"
ipfw_load="YES"
ipdivert_load="YES"
dummynet_load="YES"
if_lagg_load="YES"
autoboot_delay=3 # (default 10) seconds
loader_logo="beastie"
#kern osnovnie funkcii yadra
#vm podsistema virtualynoi pamyati
#vfs faylovaya sistema
#net setevie finkcii
#debug otladochnayz infa
#hw infa ob aparatnih sredstvah
#security parametri obespecheniya bezopasnosti
#dev informaciya drayverov ustroystv
machdep.hyperthreading_allowed="0" # Disabling Hyper-threading (default 1, allow Hyper Threading (HT))
#kern.hz="1000"
#net.inet.ip.fw.default_to_accept=1
net.inet.tcp.hostcache.bucketlimit=100 #30
net.inet.tcp.hostcache.cachelimit=0 #15360
net.inet.tcp.hostcache.hashsize=4096 #512
net.inet.tcp.syncache.cachelimit=65536 # 15375
net.inet.tcp.syncache.hashsize=1024 # (def=512) 4096 syncache hash size
net.inet.tcp.syncache.bucketlimit=100 # (def=30) syncache bucket limit
#net.inet.tcp.tcbhashsize=524288 # (def=65536) tcb hash size
net.isr.bindthreads=1 # 0 Bind netisr threads to CPUs
net.isr.defaultqlimit=4096 # (default 256)
#net.isr.maxthreads=7 # Use at most this many CPUs for netisr processing
net.isr.maxthreads=8
# limit per-workstream queues (use "netstat -Q" if Qdrop is greater then 0
# increase this directive) (default 10240)
#net.isr.maxqlimit=65536 # or 40960 or 16384
net.isr.numthreads=8
net.link.ifqmaxlen=10240 # or 16384 (default 50)
#hw.intr_storm_threshold=24000
#hw.em.rxd=4096
#hw.em.txd=4096
#hw.em.rx_process_limit=4096
#hw.em.rx_process_limit=-1
#hw.em.rx_abs_int_delay=1000 # or 2000 or 4000
#hw.em.tx_abs_int_delay=1000 # or 2000 or 4000
#hw.em.rx_int_delay=100 # or 200
#hw.em.tx_int_delay=100 # or 200
hw.igb.rxd=4096 # 1024
hw.igb.txd=4096 # 1024
#hw.igb.enable_msix=1
hw.igb.max_interrupt_rate=32000 # def-8000, 32000 or 64000
hw.igb.num_queues=8 #or7 def-0
hw.igb.rx_process_limit=4096 #or -1 def-100
#hw.ix.enable_aim=0
#hw.ix.max_interrupt_rate=62500 # (default 31250)
#hw.ix.num_queues=8
#hw.ix.tx_process_limit=-1 #or 512 def-256
#hw.ix.rx_process_limit=-1 #or 512 def-256
#hw.ix.rx_process_limit=4096
#hw.ix.tx_process_limit=4096
#hw.ix.rxd=4096
#hw.ix.txd=4096
#hw.ix.unsupported_sfp=1
#dev.em.0.rx_int_delay=200
#dev.em.0.tx_int_delay=200
#dev.em.0.rx_abs_int_delay=4000
#dev.em.0.tx_abs_int_delay=4000
#dev.em.1.rx_int_delay=200
#dev.em.1.tx_int_delay=200
#dev.em.1.rx_abs_int_delay=4000
#dev.em.1.tx_abs_int_delay=4000
#dev.ix.0.rx_processing_limit=4096
#dev.ix.1.rx_processing_limit=4096
#dev.ix.0.iflib.override_nrxqs=12
#dev.ix.0.iflib.override_ntxqs=12
#dev.ix.0.queue0.interrupt_rate: 500000
#dev.ix.0.link_irq: 9
#dev.ix.0.watchdog_events: 0
#dev.ix.0.mbuf_defrag_failed: 0
#dev.ix.0.dropped: 0
#dev.ix.0.thermal_test: 0
#dev.ix.0.advertise_speed: 0
#dev.ix.0.enable_aim: 1
#dev.ix.0.fc: 3
#dev.ix.0.tx_processing_limit: 512
#dev.ix.0.rx_processing_limit: 512
#net.pf.source_nodes_hashsize="1048576" # (default 32768)
sysctl
net.inet.ip.dummynet.expire=0 #1
net.inet.ip.dummynet.hash_size=2048 #64 up to 65535
net.inet.ip.dummynet.pipe_slot_limit=1000 #100 up to 2048 or 4096
net.inet.ip.dummynet.io_fast=1 #0 разгружает dummynet надо пробовать
sysctl вводил все одним за другим, и после net.inet.ip.dummynet.io_fast отпустило с загрузки ядра 75-85% до 45-55% при том же трафике, хотя многие и хаяли этот параметр, правда как будет далее время покажет
Название: Re: Тормозин интернет у абонентов
Отправлено: WideAreaNetwork от 20 Марта 2020, 22:40:33
с 2хL5420 @ 2.50GHz на 2хL5420 @ 3.00GHz
ошибочка, заменили на 2*X5450 @ 3.00GHz
|