Тормозин интернет у абонентов

[NTE]

Доброе время суток!

Имеем:
IBM x3550 M4 Server
FreeBSD 9.2
Nodeny ver. 50.32

На абонентов смотрит 10-ти гиговая сетевуха (Silicom PE210G2SPi9A-XR, 2 порта 10GE (SFP+))
наружу настроен lagg из двух гиговых интелловских карт встроенных в сервер.
Снаружи за сервером стоит Mikrotik Cloud Core Router 1036-12G-4S, на 2-х интерфейсах, соединенных с сервером настроен bonding.


Проблема вот в чем:
Когда трафик на загрузку доходит до 1.1-1.2 гбит. У абонов тупит интернет.
Медленно работают сайты, ютуб тормозит и т.д., speedtest.net показывает слабую скорость на Download, на Upload - все отлично.

Но потери пингов нет совсем, яндекс пингуется как и при незагруженном канале стабильно и без потерь.
Сначала грешил на микротик. Но если в час-пик, включиться напрямую в микротик ноутом, то на ноуте все работает на УРА. Ютуб летает, speedtest тоже.

Подскажите пожалуйста, в какую сторону смотреть.

Вот некоторые конфиги:

Фрагмент rc.conf

Код:

cloned_interfaces="lagg0"
ifconfig_igb2="up"
ifconfig_igb3="up"
ifconfig_lagg0="laggproto lacp laggport igb2 laggport igb3 192.168.2.10 netmask 255.255.255.0"

в sysctl.conf только две строчки

Код:

kern.ipc.nmbclusters=262144
kern.ipc.nmbjumbop=262144

Загрузка процессоров на микротике, в час-пик до 25%

на фряхе:
top -SH

Код:

last pid: 58283;  load averages:  4.19,  3.98,  3.82                                                                                           up 40+14:23:20  21:24:30
297 processes: 23 running, 195 sleeping, 7 zombie, 72 waiting
CPU:  1.8% user,  0.0% nice, 14.6% system, 19.1% interrupt, 64.5% idle
Mem: 904M Active, 5186M Inact, 1371M Wired, 209M Cache, 867M Buf, 170M Free
Swap: 4096M Total, 1296K Used, 4095M Free

  PID USERNAME   PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
   11 root       155 ki31     0K   192K CPU11  11 783.2H 93.90% idle{idle: cpu11}
   11 root       155 ki31     0K   192K RUN     8 785.1H 91.46% idle{idle: cpu8}
   11 root       155 ki31     0K   192K CPU9    9 782.9H 89.16% idle{idle: cpu9}
   11 root       155 ki31     0K   192K CPU10  10 785.0H 88.96% idle{idle: cpu10}
   11 root       155 ki31     0K   192K RUN     3 785.9H 84.77% idle{idle: cpu3}
   11 root       155 ki31     0K   192K RUN     1 806.9H 81.49% idle{idle: cpu1}
   11 root       155 ki31     0K   192K CPU2    2 787.6H 76.66% idle{idle: cpu2}
   11 root       155 ki31     0K   192K RUN     5 772.4H 75.49% idle{idle: cpu5}
   11 root       155 ki31     0K   192K RUN     6 772.3H 74.76% idle{idle: cpu6}
   11 root       155 ki31     0K   192K RUN     4 772.9H 74.66% idle{idle: cpu4}
   11 root       155 ki31     0K   192K RUN     7 771.2H 74.27% idle{idle: cpu7}
   11 root       155 ki31     0K   192K CPU0    0 771.0H 72.36% idle{idle: cpu0}
 5866 root        65  -15   207M   148M CPU8    8 388.6H 27.20% ipcad{ipcad}
 5866 root        44  -15   207M   148M CPU1    1 320.4H 19.87% ipcad{ipcad}
   12 root       -92    -     0K  1248K CPU0    0  79.1H 14.16% intr{irq273: ix1:que }
76433 root        20  -15   271M   214M nanslp  9  48.6H 12.35% perl5.16.3
   12 root       -92    -     0K  1248K WAIT    1  36.0H  7.18% intr{irq274: ix1:que }
   12 root       -92    -     0K  1248K WAIT    0  32.2H  6.49% intr{irq310: igb3:que}
   12 root       -92    -     0K  1248K RUN     6  33.1H  5.86% intr{irq279: ix1:que }
   12 root       -92    -     0K  1248K WAIT    2  34.3H  5.76% intr{irq275: ix1:que }
   12 root       -92    -     0K  1248K WAIT    7  31.3H  5.76% intr{irq304: igb2:que}
   12 root       -92    -     0K  1248K WAIT    2  32.4H  5.66% intr{irq312: igb3:que}
   12 root       -92    -     0K  1248K WAIT    4  30.4H  5.66% intr{irq314: igb3:que}
   12 root       -92    -     0K  1248K WAIT    9  32.9H  5.57% intr{irq306: igb2:que}
   12 root       -92    -     0K  1248K RUN     6  31.5H  5.57% intr{irq303: igb2:que}
   12 root       -92    -     0K  1248K RUN     6  30.4H  5.57% intr{irq316: igb3:que}
   12 root       -92    -     0K  1248K WAIT    8  32.5H  5.37% intr{irq305: igb2:que}
   12 root       -92    -     0K  1248K WAIT    4  31.4H  5.27% intr{irq301: igb2:que}
   12 root       -92    -     0K  1248K WAIT    5  31.3H  5.27% intr{irq302: igb2:que}
   12 root       -92    -     0K  1248K WAIT    2  26.2H  5.27% intr{irq266: ix0:que }
   12 root       -92    -     0K  1248K RUN     6  25.1H  5.18% intr{irq270: ix0:que }
   12 root       -92    -     0K  1248K WAIT    3  34.6H  5.08% intr{irq276: ix1:que }
   12 root       -92    -     0K  1248K WAIT    1  33.7H  5.08% intr{irq311: igb3:que}
   12 root       -92    -     0K  1248K WAIT    5  33.0H  5.08% intr{irq278: ix1:que }
   12 root       -92    -     0K  1248K WAIT   11  32.5H  5.08% intr{irq308: igb2:que}
   12 root       -92    -     0K  1248K WAIT    5  30.4H  5.08% intr{irq315: igb3:que}
   12 root       -92    -     0K  1248K WAIT    3  32.5H  4.98% intr{irq313: igb3:que}

[Belos]

netstat -w1

Сначала грешил на микротик. Но если в час-пик, включиться напрямую в микротик ноутом, то на ноуте все работает на УРА. Ютуб летает, speedtest тоже.

понятное дело -  1 ПК )))

[ser970]

у видеть бы трафик по лапам ласпа...

и кстати top -SHP  или top -SHPi  более показателен....
многие процессы однопоточные.

шейп и нат на чем крутится ?

для тестов можно

ipfw add 1 allow ip from any to any

[NTE]

понятное дело -  1 ПК )))

Ноут был просто за сервером. Загрузка на каналах в этот момент была 1.2 гиг.
Т.е. траф через микротик шуровал как и обычно.

вот netstat -w1

Код:

 input        (Total)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
    312499     0     0  285852346     292169     0  170905705     0
    312615     0     0  285141543     294432     0  172413043     0
    312857     0     0  285364238     294498     0  173886362     0
    291622     0     0  277474132     269496     0  180725194     0
    309077     0     0  289589730     287580     0  158707456     0
    304175     0     0  281048883     285417     0  169023352     0
    314916     0     0  291999137     293263     0  170830934     0
    303441     0     0  281673140     282803     0  171178032     0
    313151     0     0  290359927     291908     0  172114739     0
    305862     0     0  281748137     285750     0  173901197     0
    288571     0     0  264933521     270181     0  167039253     0
    297678     0     0  274157694     277575     0  156464955     0
    305119     0     0  280843878     285711     0  167758943     0
    241205     0     0  215650391     227545     0  161048506     0
    304232     0     0  278239276     286494     0  139386924     0
    304615     0     0  281892485     286700     0  167715078     0
    307157     0     0  286300872     287523     0  169837775     0
    303510     0     0  280814955     284227     0  171561158     0
    305231     0     0  280571325     287224     0  169974069     0
    311581     0     0  285530429     292785     0  170756923     0
            input        (Total)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
    307566     0     0  281616102     289954     0  170453270     0
    315045     0     0  288300800     295622     0  170841177     0
    315302     0     0  291130474     294991     0  173141510     0
    316216     0     0  289659104     295336     0  171476474     0
    319730     0     0  295665088     298407     0  172576815     0
    309790     0     0  286142214     288507     0  171135693     0
    312786     0     0  290661201     291413     0  170272657     0
    308950     0     0  288860837     287332     0  168472459     0
    315004     0     0  292320358     293192     0  175637320     0
    309863     0     0  288082569     288675     0  172788259     0
    310130     0     0  286149925     290718     0  171100158     0
    309368     0     0  286502159     290734     0  169710036     0
    314503     0     0  291726887     294798     0  172621100     0
    312279     0     0  290543481     292947     0  172316527     0
    291299     0     0  278790672     268165     0  183350500     0
    320076     0     0  300325391     299604     0  168806414     0
    315605     0     0  295276125     295375     0  176065902     0
    323642     0     0  299292089     304493     0  179642860     0
    324842     0     0  301341322     304131     0  181783522     0
    318058     0     0  293761831     297749     0  181337281     0
    315694     0     0  290875951     296557     0  176851562     0

[NTE]

у видеть бы трафик по лапам ласпа...

и кстати top -SHP  или top -SHPi  более показателен....
многие процессы однопоточные.

шейп и нат на чем крутится ?

для тестов можно

ipfw add 1 allow ip from any to any

top -SHP

Код:

last pid: 60954;  load averages:  3.84,  3.08,  3.05                                                                                           up 40+15:35:01  22:36:11
297 processes: 18 running, 196 sleeping, 7 zombie, 76 waiting
CPU 0:   3.5% user,  0.0% nice,  6.3% system, 25.9% interrupt, 64.3% idle
CPU 1:   1.6% user,  0.0% nice,  9.0% system, 18.0% interrupt, 71.4% idle
CPU 2:   2.0% user,  0.0% nice, 14.9% system, 16.9% interrupt, 66.3% idle
CPU 3:   3.5% user,  0.0% nice,  9.4% system, 20.4% interrupt, 66.7% idle
CPU 4:   1.2% user,  0.0% nice,  9.0% system, 23.9% interrupt, 65.9% idle
CPU 5:   3.1% user,  0.0% nice,  6.7% system, 18.8% interrupt, 71.4% idle
CPU 6:   3.1% user,  0.0% nice,  7.1% system, 18.8% interrupt, 71.0% idle
CPU 7:   1.2% user,  0.0% nice,  8.6% system, 18.8% interrupt, 71.4% idle
CPU 8:   3.1% user,  0.0% nice, 21.6% system,  5.5% interrupt, 69.8% idle
CPU 9:   3.5% user,  0.0% nice, 20.0% system,  7.1% interrupt, 69.4% idle
CPU 10:  2.0% user,  0.0% nice, 20.4% system,  6.7% interrupt, 71.0% idle
CPU 11:  5.5% user,  0.0% nice, 20.0% system,  7.8% interrupt, 66.7% idle
Mem: 910M Active, 5180M Inact, 1422M Wired, 173M Cache, 1649M Buf, 156M Free
Swap: 4096M Total, 1296K Used, 4095M Free

  PID USERNAME   PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
   11 root       155 ki31     0K   192K CPU9    9 783.6H 94.09% idle{idle: cpu9}
   11 root       155 ki31     0K   192K RUN     8 785.9H 93.55% idle{idle: cpu8}
   11 root       155 ki31     0K   192K CPU10  10 785.8H 93.46% idle{idle: cpu10}
   11 root       155 ki31     0K   192K CPU11  11 784.0H 88.87% idle{idle: cpu11}
   11 root       155 ki31     0K   192K CPU2    2 788.3H 83.50% idle{idle: cpu2}
   11 root       155 ki31     0K   192K RUN     6 773.0H 82.67% idle{idle: cpu6}
   11 root       155 ki31     0K   192K RUN     5 773.1H 82.18% idle{idle: cpu5}
   11 root       155 ki31     0K   192K CPU4    4 773.6H 81.79% idle{idle: cpu4}
   11 root       155 ki31     0K   192K CPU3    3 786.7H 81.49% idle{idle: cpu3}
   11 root       155 ki31     0K   192K CPU7    7 771.9H 81.40% idle{idle: cpu7}
   11 root       155 ki31     0K   192K CPU1    1 807.7H 81.30% idle{idle: cpu1}
   11 root       155 ki31     0K   192K CPU0    0 771.8H 79.30% idle{idle: cpu0}
76433 root        20  -15   271M   214M nanslp  1  48.9H 22.75% perl5.16.3
 5866 root        34  -15   207M   148M CPU0    0 321.1H 13.57% ipcad{ipcad}
   12 root       -92    -     0K  1248K WAIT    0  79.3H 11.57% intr{irq273: ix1:que }
 5866 root        39  -15   207M   148M CPU9    9 389.5H  8.06% ipcad{ipcad}
   12 root       -92    -     0K  1248K WAIT    3  32.6H  5.66% intr{irq313: igb3:que}
   12 root       -92    -     0K  1248K WAIT    3  34.7H  5.37% intr{irq276: ix1:que }
   12 root       -92    -     0K  1248K WAIT    9  33.0H  5.37% intr{irq306: igb2:que}
   12 root       -92    -     0K  1248K WAIT    2  34.4H  5.27% intr{irq275: ix1:que }
   12 root       -92    -     0K  1248K WAIT    1  33.8H  5.27% intr{irq311: igb3:que}
   12 root       -92    -     0K  1248K RUN     5  30.5H  4.98% intr{irq315: igb3:que}
   12 root       -92    -     0K  1248K WAIT    8  32.6H  4.88% intr{irq305: igb2:que}
   12 root       -92    -     0K  1248K WAIT    4  31.5H  4.79% intr{irq301: igb2:que}
 5955 root        20  -15 64580K 17516K nanslp 11  28.8H  4.79% perl5.16.3
   12 root       -92    -     0K  1248K WAIT    7  33.6H  4.69% intr{irq280: ix1:que }

шейпит этот же сервер.
натит микротик, который за ним

[ser970]

при отключении шейпера траф растет ?

[NTE]

при отключении шейпера траф растет ?

Как его правильно отключить чтобы ничего не поломать?

[ser970]

ipfw l (L  маленькая)

если нет 1 правила то

ipfw add 1 allow ip from any to any

после ipfw del 1

[NTE]

ipfw l (L  маленькая)

если нет 1 правила то

ipfw add 1 allow ip from any to any

после ipfw del 1

Спасибо!
Завтра в час-пик проверю.

[NTE]

ipfw l (L  маленькая)

если нет 1 правила то

ipfw add 1 allow ip from any to any

после ipfw del 1

Проверил. После отключения шейпера траф конкретно вырастает.

[ser970]

по ходу упирается в шейп по процу

попробуйте не резать  исход.
+
100м тарифы не пускайте в шейп.
+
проверьте на трафик   по 53 и 123 портам ....

[NTE]

по ходу упирается в шейп по процу

попробуйте не резать  исход.
+
100м тарифы не пускайте в шейп.
+
проверьте на трафик   по 53 и 123 портам ....

Видимо правда проблема в шейпе... При отключенном траф растет до 2 гиг и сайты начинают "летать", ютуб тоже начинает отлично работать.

123 порт - траф до 6 кбит
53 порт - траф до 300 кбит

"не резать исход и 100мбит тарифы не шейпить" настраивать в админке через настройку тарифов?
Кстати у нас очень мало абонентов, у который тариф 100мб.
И что значит "упирается в шейп по процу"? Вроде сервак нормальный и ресурсы процов меньше чем на половину задействованны.
Может что-то тюнинговать надо на серваке?

Спасибо!!!

[ser970]

процессы динамические и собственно гуляют по ядрам
можно прибить cpuset

шейпер однопоточный  - тут как ни крути а тактовая играет роль .... hz можно понизить но... тут свои ньюансы

тюнинг сетевой - не особо поможет ( хотя и чуть разгрузит проц)

больше играют роль правила фаера  и шейпера

оптимально
1 - переписать глобально фаер (уменьшить кол-во правил)
2 - не шейпить 100м тарифы - они и так портом зарезаны  - а ресурсы в шейпере занимают.
3 - не резать исход - при нормальном трафике смысла особого нету ...

для этого надо изменить nofire.pl

[sand-max]

Решили проблему? У меня похожая

[ser970]

Решили проблему? У меня похожая

ну для начала бы


uname -an
ipfw l
top -SHPi
netstat -w1
ifconfig