Оптимизация Dummynet под широкий канал

[goletsa]

Сегодня столкнулся с жутким ростов пингов при использовании dummynet.

До 30-40мс. При allow ip from any to any пинг падает до 2-5мс.

При этом интересные вещи наблюдаются.

Например tasq em0\tasqem1 растут до 99% ну и даминет гдето же в этом районе.

Код:

last pid: 59122;  load averages:  3.38,  2.88,  2.84    up 0+23:58:48  23:55:34
115 processes: 9 running, 89 sleeping, 17 waiting
CPU:  2.9% user,  0.0% nice, 70.6% system,  0.0% interrupt, 26.5% idle
Mem: 216M Active, 221M Inact, 322M Wired, 380K Cache, 213M Buf, 1212M Free
Swap: 4057M Total, 4057M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
   30 root        1 -68    -     0K    16K CPU0   2 990:26 98.73% em1 taskq
   54 root        1 -68    -     0K    16K CPU3   1 816:36 91.02% dummynet
   29 root        1 -68    -     0K    16K CPU1   1 868:26 85.55% em0 taskq
   11 root        1 171 ki31     0K    16K RUN    3  18.1H 49.56% idle: cpu3
   12 root        1 171 ki31     0K    16K RUN    2 761:30 21.83% idle: cpu2
   13 root        1 171 ki31     0K    16K RUN    1 524:13 13.23% idle: cpu1
   14 root        1 171 ki31     0K    16K RUN    0 440:26  9.47% idle: cpu0

netstat -w1 -Iem1
            input          (em1)           output
   packets  errs      bytes    packets  errs      bytes colls
     63312     0   39692288      62416     0   52238499     0
     60324     0   35901501      59938     0   50251272     0
     61139     0   36303543      60004     0   52622678     0
     60952     0   37933039      60075     0   50435259     0
     61454     0   37362371      60088     0   52088529     0

И это не самое пиковое время.

При отрубании шейпера же имеем:

Код:

last pid: 59149;  load averages:  2.34,  2.79,  2.82    up 1+00:01:48  23:58:34
115 processes: 8 running, 90 sleeping, 17 waiting
CPU:  2.0% user,  0.0% nice, 44.0% system,  0.0% interrupt, 54.0% idle
Mem: 216M Active, 221M Inact, 322M Wired, 380K Cache, 213M Buf, 1211M Free
Swap: 4057M Total, 4057M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
   29 root        1 -68    -     0K    16K CPU0   0 870:57 84.47% em0 taskq
   11 root        1 171 ki31     0K    16K RUN    3  18.1H 79.44% idle: cpu3
   30 root        1 -68    -     0K    16K CPU2   1 993:10 74.12% em1 taskq
   12 root        1 171 ki31     0K    16K RUN    2 762:23 45.12% idle: cpu2
   14 root        1 171 ki31     0K    16K RUN    0 441:02 42.97% idle: cpu0
   13 root        1 171 ki31     0K    16K CPU1   1 524:51 23.29% idle: cpu1
   54 root        1 -68    -     0K    16K -      1 818:41 19.82% dummynet
 1186 root        4  82  -15 54028K 47424K CPU1   1  63:51  4.98% ipcad
 1571 root        1   8    0 24524K  8484K nanslp 2  55:52  4.79% perl5.8.9
 1269 root        1   8  -15 39628K 21440K nanslp 3  45:10  2.15% perl5.8.9
 1574 root        1   8    0 23308K  8048K nanslp 1  16:06  1.46% perl5.8.9


[root@router3 ~]# netstat -w1 -Iem1
            input          (em1)           output
   packets  errs      bytes    packets  errs      bytes colls
     73704     0   49893448      71250     0   61793588     0
     73977     0   45924415      73224     0   66489917     0
     76864     0   51850558      71159     0   61468444     0
     71343     0   46966963      70661     0   62475316     0
     79013     0   50484881      74106     0   72342066     0
     76710     0   50132380      74981     0   69306911     0
     72680     0   48928345      71334     0   62608152     0
     76618     0   52790723      73765     0   63986055     0

Т.е. трафик больше что поидее должно было увеличить tasq emX но они наоборот упали.

Еще интересное кино - при включении net.inet.ip.dummynet.io_fast=1 пинг растет вообще еще в 3 раза и может доходить до 100мс.

Из оптимизаций включено:

Код:

net.inet.ip.forwarding=1
net.inet.ip.fastforwarding=1

Код:

hw.em.rxd=2048
hw.em.txd=2048

Все это крутится под FreeBSD7.2/amd64, Core2Quad Q9550, Intel 9402PT, мамка на чипсете i3200.
Поидее оно должно переваривать до 100kpps но почемуто на 60-65kpps уже рост пинга и потери.

Мнения? Предложения? Можно описания ваших тазиков с пропускаемым трафиком?

[Efendy]

от net.inet.ip.dummynet.io_fast=1 был тока негатив, так что я всегда ставлю в 0

и не справляется у тебя строго сетевая, так что ее надо в первую очередь оптимизировать. Попробуй поставить получше, интел, но получше.

[Elisium]

1. Обязательно прибей дамминет к самому ненагруженому ядру. Даже желательно прибивать поочереди и смотреть, на каком дамминет будет жрать меньше всего ресурсов.
2. Обязательно использовать яндексовые дрова (ПОЧИТАТЬ МАНУАЛ !!!). Оч хорошо разбрасывают нагрузку по ядрам.
3. Попробуй вот такой финт:

Код:

net.inet.ip.dummynet.io_fast=1
net.inet.ip.fastforwarding=0

У меня (да и у многих, я вижу) вкл второй опции вызывает жуткие тормоза и загруз процов.
Я себе даже в конфиге написал  - НЕ ВКЛЮЧАТЬ! (на двух разных серверах эффект жутко отрицательный)

п.с. Intel 9402PT - совсем неплохая карта. На нее, имхо, в последнюю очередь смотрел бы.

п.п.с. А где общий нетстат ? Или весь трафик бегает туда/сюда только по ОДНОЙ сетевухе
75кппс - это дето 600 мбт трафа бегает ?

[goletsa]

от net.inet.ip.dummynet.io_fast=1 был тока негатив, так что я всегда ставлю в 0

и не справляется у тебя строго сетевая, так что ее надо в первую очередь оптимизировать. Попробуй поставить получше, интел, но получше.

Если бы не справлялась сетевая то отключение dummynet не приводило бы к росту pps а трафик так же бы и шел с задержками\потерями.

[goletsa]

1. Обязательно прибей дамминет к самому ненагруженому ядру. Даже желательно прибивать поочереди и смотреть, на каком дамминет будет жрать меньше всего ресурсов.
2. Обязательно использовать яндексовые дрова (ПОЧИТАТЬ МАНУАЛ !!!). Оч хорошо разбрасывают нагрузку по ядрам.
3. Попробуй вот такой финт:

Код:

net.inet.ip.dummynet.io_fast=1
net.inet.ip.fastforwarding=0

У меня (да и у многих, я вижу) вкл второй опции вызывает жуткие тормоза и загруз процов.
Я себе даже в конфиге написал  - НЕ ВКЛЮЧАТЬ! (на двух разных серверах эффект жутко отрицательный)

п.с. Intel 9402PT - совсем неплохая карта. На нее, имхо, в последнюю очередь смотрел бы.

п.п.с. А где общий нетстат ? Или весь трафик бегает туда/сюда только по ОДНОЙ сетевухе
75кппс - это дето 600 мбт трафа бегает ?

1. Попробуемс.
2. Хм. Неигрался с ними но посмотрим что получится.
3. А что это даст? io_fast ведет только к росту пинга. или fastforwarding и дает жуткий рост tasq emX?

ps: ага, хорошая карточка.
pps: Ну есть еще em0 но загрузка на ней не сильно отличается от em1, это даже в top видно. Сумарный kpps там 140 на 150 гдето при отключенном даминете
Завтра когда нагрузка будет выложу.
Трафик в пиках в районе 450-500мбит.

[Elisium]

fastforwarding и дает жуткий рост tasq emX

У меня именно так.

[goletsa]

3. Попробуй вот такой финт:

Код:

net.inet.ip.dummynet.io_fast=1
net.inet.ip.fastforwarding=0

У меня (да и у многих, я вижу) вкл второй опции вызывает жуткие тормоза и загруз процов.
Я себе даже в конфиге написал  - НЕ ВКЛЮЧАТЬ! (на двух разных серверах эффект жутко отрицательный)

Мда.

Код:

 109342  3070   76447338     106755     0   76197748     0
    111560  2900   78515117     108404     0   78011204     0
    112018  2723   79518572     109098     0   79065229     0
    107746  2821   74376558     105056     0   74075802     0
    107882  2314   75128713     105003     0   74764838     0
    110064  2709   76670180     106920     0   76106543     0
    110431  3003   76812599     107483     0   76198566     0
    108887  2730   76403054     105757     0   75886023     0

И пинг через сервер 40мс с жуткими потерями

Код:

 1. 10.5.240.2                                    0.0%    97    0.3   0.4   0.3   1.2   0.2
 2. 10.5.240.1                                    4.2%    96   41.0  40.7  36.6  45.7   1.6
 3. gateway.tinconet.ru                           4.2%    96   41.9  41.7  38.2  53.3   2.5
 

При выключенном io_fast и fastforwarding:

Код:

    123482   517   85978306     120870     0   85448578     0
    122337   396   85232431     119866     0   84971443     0
    122317   516   85482659     119113     0   84609707     0
    122734   472   84694565     120105     0   84334884     0
    123468   665   86450724     120464     0   85958895     0
    124621   350   88076467     121574     0   87612537     0
    125215   455   87547303     122037     0   86962124     0

Код:

1. 10.5.240.2                                    0.0%    33    2.4   0.4   0.2   2.4   0.4
 2. 10.5.240.1                                    0.0%    32   37.0  37.2  27.4  46.8   5.8
 3. gateway.tinconet.ru                           0.0%    32   42.1  41.5  28.4  54.7   7.7

Код:

30 root        1 -68    -     0K    16K CPU3   3  28.3H 99.02% em1 taskq
   54 root        1 -68    -     0K    16K CPU0   0  27.3H 93.95% dummynet
   29 root        1 -68    -     0K    16K CPU2   2  24.7H 90.97% em0 taskq
   13 root        1 171 ki31     0K    16K RUN    1  17.4H 81.54% idle: cpu1
   12 root        1 171 ki31     0K    16K RUN    2  25.1H  6.59% idle: cpu2
 1186 root        5  81  -15 72460K 65800K RUN    2   0:00  6.30% ipcad
   14 root        1 171 ki31     0K    16K RUN    0 855:10  3.71% idle: cpu0
 1269 root        1   8  -15 39628K 21440K nanslp 1  84:53  2.29% perl5.8.9
 1571 root        1   4    0 24524K  8484K sbwait 1 104:05  0.93% perl5.8.9
 1057 bind        7   4    0   223M   188M kqread 2  11:30  0.24% named

fastforwarding=1

Код:

 125594   396   86462719     122825     0   85972233     0
    128522   489   89239415     125699     0   88643131     0
    127412    21   89249792     124696     0   88894335     0
    129502   453   90818071     126847     0   90397411     0
    127664   492   87860744     124479     0   88135976     0
    127616   717   87397671     124072     0   88143165     0
    127753   194   88618736     124244     0   90149813     0
    126550   547   88731323     123971     0   88752246     0
    125822   720   86447062     122604     0   87367031     0
    125039   583   86571649     122021     0   87986569     0

Код:

  30 root        1 -68    -     0K    16K CPU3   3  28.4H 99.02% em1 taskq
   54 root        1 -68    -     0K    16K CPU0   0  27.3H 94.87% dummynet
   29 root        1 -68    -     0K    16K CPU2   2  24.7H 91.99% em0 taskq
   13 root        1 171 ki31     0K    16K RUN    1  17.5H 81.79% idle: cpu1
   12 root        1 171 ki31     0K    16K RUN    2  25.1H  5.76% idle: cpu2
 1186 root        4  83  -15 58124K 52304K CPU2   2 114:30  4.83% ipcad
   14 root        1 171 ki31     0K    16K RUN    0 855:14  2.93% idle: cpu0
 1269 root        1   8  -15 39628K 21440K nanslp 1  84:59  2.54% perl5.8.9
 1571 root        1   4    0 24524K  8484K sbwait 1 104:07  0.78% perl5.8.9
 1574 root        1   4    0 23308K  8048K sbwait 1  28:46  0.20% perl5.8.9

Код:

1. 10.5.240.2                                    0.0%    12    0.3   0.5   0.3   1.0   0.2
 2. 10.5.240.1                                    0.0%    12   28.7  35.7  26.9  49.2   7.4
 3. gateway.tinconet.ru                           0.0%    12   48.7  41.5  29.4  55.6   9.9
 

Вот например когда я отрубаю dummynet:
 

Код:

191777     0  148521912     189372     0  148038463     0
    193734     0  150269701     191298     0  149627942     0
    192930     0  146657783     191216     0  146323833     0
    191757     0  148694970     189943     0  148361286     0
    194104     0  151162808     192417     0  150797218     0
    189091     0  145433401     187308     0  145053319     0
    195345     0  153444148     193677     0  153080851     0
    194438     0  152138512     193005     0  151808025     0

Код:

 13 root        1 171 ki31     0K    16K RUN    1  17.5H 81.74% idle: cpu1
   30 root        1 -68    -     0K    16K -      3  28.4H 79.74% em1 taskq
   29 root        1 -68    -     0K    16K CPU2   2  24.8H 75.10% em0 taskq
   14 root        1 171 ki31     0K    16K RUN    0 855:41 72.07% idle: cpu0
   12 root        1 171 ki31     0K    16K RUN    2  25.1H 22.75% idle: cpu2
   54 root        1 -68    -     0K    16K -      0  27.3H 18.60% dummynet
   11 root        1 171 ki31     0K    16K RUN    3  35.0H 18.31% idle: cpu3
 1186 root        4  84  -15 58124K 52304K select 0 114:38 10.21% ipcad
 1269 root        1   8  -15 39628K 21440K nanslp 1  85:03  2.39% perl5.8.9
 1571 root        1   8    0 24524K  8484K nanslp 1 104:10  2.10% perl5.8.9
 1574 root        1   8    0 23308K  8048K nanslp 1  28:48  1.56% perl5.8.9
 1057 bind        7   4    0   223M   188M kqread 1  11:31  0.10% named

Код:

 1. 10.5.240.2                                    0.0%    14    0.4   0.5   0.3   1.1   0.2
 2. 10.5.240.1                                    0.0%    14    0.6   0.9   0.5   1.8   0.4
 3. gateway.tinconet.ru                           0.0%    14    0.9   1.0   0.7   1.9   0.3
 

Везде 10.5.240.1 - железяка над которой производится издевательство.

Типичный трафик:

Код:

 systat -ifstat
                    /0   /1   /2   /3   /4   /5   /6   /7   /8   /9   /10
     Load Average   ||||||||||||||||

      Interface           Traffic               Peak                Total
            lo0  in      0.000 KB/s          0.042 KB/s            5.513 MB
                 out     0.000 KB/s          0.042 KB/s            5.513 MB

            em1  in     31.953 MB/s         32.979 MB/s            4.027 TB
                 out    51.319 MB/s         51.474 MB/s            4.682 TB

            em0  in     49.913 MB/s         51.441 MB/s            4.571 TB
                 out    31.449 MB/s         32.476 MB/s            3.869 TB

[Elisium]

Трафик  примерно такой же. В пике может допрыгивать до гига суммарно ин+аут на входящем ифейсе.
Две строчки из моего поста ранее из моего же конфига.

А потери пакетов потому, что весь поток обрабатывается одним ядром и оно в полке.
И судя по топу, яндеховые дрова ты НЕ ставил.
А на гиговых скоростях без этих дров никуда.

п.с. 190 кппс - довольно неплохо, имхо.

[goletsa]

Я понимаю но я упираюсь в даминет а не в сетевые.
Попробую когда будет второй сервер поиграться с яндексовыми - может и выгорит дело.
Только похоже их забросили, последний аплейт больше года назад.

[Elisium]

Пересобрать ядро и проверить ночью вроде много времени не занимает.
В любом случае, добро пожаловать на Наг. Там МНОГО чего можно взять по тюнингу фри.

п.с. А че их обновлять ? старые дрова em такой фишки не имеют в отличие от новых под igb.
п.п.с. в любом случае - дело то хозяйское ))

[Andrey Zentavr]

Когда-то я настраивал сервер сети Глобалнет - там была такая-же проблема с дамминетом - он жрал уж ну очень много ресурсов. Пляски с бубном были долгие, фря тоже стояла 64битная. Даже не помню как побороли.
1) Стояла какая-то одна из последних мамок и АМДшный четырёхкотловый камень. Обновил Биос на мамке - выставил правильный тип процессора. До этого проц был Unknown. Стало легче.
2) через cvsup обновил порты и /usr/sys - пересобрал ядро в версию p4 (см. uname -a )
3) Поставил хорошую серверную Интел-сетевушку PCI-express (модель не помню, доступа к серверу уже нет)
4) Отключил нафиг поллинг и поставил Яндекс-драйвера
5) Вроде как делал тюнинг sysctl.conf и /boot/loader.conf

К сожалению конфиги выложить не могу, по вышеуказанной причине. Есть тут на форуме некий glat, может быть поделиться с Вами информацией.

[Elisium]

Ну, вот топ, ифстат и нетстат с моего сервака во время, близкое к чнн.

ифстат:

Код:

em1  in     62.600 MB/s         67.542 MB/s           29.109 TB
     out    37.013 MB/s         37.020 MB/s           16.499 TB

em0  in     37.537 MB/s         37.590 MB/s           16.763 TB
     out    62.347 MB/s         67.514 MB/s           29.059 TB

нетстат:

Код:

            input        (Total)           output
   packets  errs      bytes    packets  errs      bytes colls
    130415     0  100011715     128842     0   99223383     0
    135888     0  104109235     134130     0  103344729     0
    124786     0   94939533     123141     0   94296268     0
    131358     0  101191163     129383     0  100168256     0
    129951     0  100520984     128025     0   99844785     0
    139150     0  108857294     137751     0  108148776     0
    138890     0  107154708     137096     0  106556676     0
    136565     0  107626319     135285     0  107061128     0
    132032     0  102638832     130090     0  101981478     0
    133607     0  104902770     132217     0  104143197     0
    131708     0  103622927     129564     0  102662460     0

и топ в это же время:

Код:

last pid: 13627;  load averages:  3.17,  3.24,  3.33              up 9+18:09:56  21:40:31
137 processes: 11 running, 111 sleeping, 1 zombie, 14 waiting
CPU:  0.0% user,  0.0% nice, 70.5% system,  0.0% interrupt, 29.5% idle
Mem: 138M Active, 2062M Inact, 476M Wired, 1040K Cache, 214M Buf, 1272M Free
Swap: 4062M Total, 4062M Free

  PID USERNAME    THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
   27 root          1  43    -     0K    16K RUN    1  66.0H 65.92% em0_rx_kthread_0
   31 root          1  43    -     0K    16K CPU2   2  63.0H 65.67% em1_rx_kthread_0
   32 root          1  43    -     0K    16K RUN    3  63.0H 64.01% em1_rx_kthread_1
   28 root          1  43    -     0K    16K CPU1   1  66.0H 60.94% em0_rx_kthread_1
   42 root          1 -68    -     0K    16K CPU0   0  94.1H 42.97% dummynet
   14 root          1 171 ki31     0K    16K RUN    0 125.3H 31.84% idle: cpu0
   11 root          1 171 ki31     0K    16K RUN    3 145.7H 23.05% idle: cpu3
   12 root          1 171 ki31     0K    16K RUN    2 141.0H 20.95% idle: cpu2
   13 root          1 171 ki31     0K    16K RUN    1 136.5H 19.58% idle: cpu1

Это я к чему - мой первый пост не от балды писАлся.
А яндеховыми дровами сейчас не пользуется только ленивый админ (если, конечно, стоят не меганавороченые сетевухи на игб - там свои дрова уже хорошо обкатаны)

[VitalVas]

на сколько мне извесно. яндекс пользуется фрьой в качестае веб-серверов и карточками em
и как извесно в яндекса большая нагрузка

[Elisium]

Мм .. немного не в тему, но все таки.
У кого нибуть через ОДИН шлюз (шейпер + нат) на одном ифейсе суммарно (ин+аут) больше гига трафа пробегает ??

Просто вот последнюю неделю наблюдаю, что, вообщем то, неслабая железка выше 150 кппс и 1100 ин+аут трафа както не льет через себя.
Загрузка близка к максимуму (90%).
Проц - Ксеон 5460 + пару Интел Про 1000 сетевок.

[Andrey Zentavr]

Загрузка близка к максимуму (90%).
Проц - Ксеон 5460 + пару Интел Про 1000 сетевок.

Проц Ксеон стоит на проблемной машине?