Оптимизация Dummynet под широкий канал

[Elisium]

Ну я бы не сказал, что она СИЛЬНО проблемная, но все равно неприятно / не совсем понятно.
Да, Ксеон стоит там.

Апд.
1200 трафа и 160 кппс

[goletsa]

ну чтож, поставил яндексоидные дрова, бум ждать вечера.

[goletsa]

Таже хрень.
включени io_fast - пинг растет в 3 раза и появляются ошибки.

top -S
last pid: 16983;  load averages:  7.07,  6.17,  5.89                                                                                  up 0+15:51:01  21:15:25
128 processes: 12 running, 99 sleeping, 17 waiting
CPU:  1.5% user,  0.0% nice, 98.5% system,  0.0% interrupt,  0.0% idle
Mem: 202M Active, 81M Inact, 166M Wired, 512K Cache, 26M Buf, 1521M Free
Swap: 4057M Total, 4057M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
   35 root        1  43    -     0K    16K CPU0   2 415:38 82.42% em1_rx_kthread_0
   36 root        1  43    -     0K    16K CPU1   2 415:19 82.13% em1_rx_kthread_1
   31 root        1  43    -     0K    16K CPU2   3 356:06 70.56% em0_rx_kthread_0
   32 root        1  43    -     0K    16K RUN    3 355:51 69.73% em0_rx_kthread_1
   66 root        1 -68    -     0K    16K -      0 718:40 69.24% dummynet
 1281 root        1   8  -15 39608K 21460K nanslp 1  30:57  2.93% perl5.8.9
 1198 root        5   4  -15 65420K 58672K sbwait 0   0:00  2.05% ipcad
   30 root        1 -68    -     0K    16K WAIT   2  18:46  2.00% em0_txcleaner
   34 root        1 -68    -     0K    16K WAIT   2  21:09  1.95% em1_txcleaner
   11 root        1 171 ki31     0K    16K RUN    3 442:09  0.98% idle: cpu3
   12 root        1 171 ki31     0K    16K RUN    2 389:06  0.73% idle: cpu2
   13 root        1 171 ki31     0K    16K RUN    1 278:27  0.10% idle: cpu1
 1067 bind        7   4    0   193M   166M kqread 3   4:31  0.05% named
   14 root        1 171 ki31     0K    16K RUN    0 257:27  0.00% idle: cpu0
   16 root        1 -32    -     0K    16K WAIT   3   7:18  0.00% swi4: clock sio
   65 root        1   8    -     0K    16K pftm   1   1:31  0.00% pfpurge
   18 root        1  96    -     0K    16K -      0   1:24  0.00% yarrow

                                       Packets               Pings
 Host                                Loss%   Snt   Last   Avg  Best  Wrst StDev
 1. 10.5.240.2                        0.0%    92    0.2   0.4   0.2   1.2   0.2
 2. 10.5.240.1                        0.0%    92   59.3  47.1   0.4  82.8  22.8
 3. gateway.tinconet.ru               0.0%    92   64.6  54.1   3.5  86.6  17.1

[root@router3 /etc/namedb]# sysctl -w net.inet.ip.dummynet.io_fast=1
net.inet.ip.dummynet.io_fast: 0 -> 1
[root@router3 /etc/namedb]# netstat -w1
            input        (Total)           output
   packets  errs      bytes    packets  errs      bytes colls
    124715   777   77956019     122403     0   77424312     0
    126024    39   76324948     123215     0   75730636     0
    128651   255   78426761     126212     0   78225952     0
    123121   847   76270015     120358     0   75640436     0
    123222   555   76403306     120082     0   76598104     0
    124855  1220   77042997     121890     0   77157064     0
    122361  1390   75469679     119062     0   76173006     0
^C
[root@router3 /etc/namedb]# sysctl -w net.inet.ip.fastforwarding=0
net.inet.ip.fastforwarding: 1 -> 0
[root@router3 /etc/namedb]# netstat -w1
            input        (Total)           output
   packets  errs      bytes    packets  errs      bytes colls
    122331   441   73453448     119588     0   72998541     0
    121242   722   75139594     118377     0   74688935     0
    122907   813   75376533     119915     0   74701931     0
    122078   511   74780417     119313     0   74427840     0
    122690   464   74303920     120535     0   73951746     0
    122937  1011   75668032     120311     0   74987256     0
    120045  1406   74164143     116503     0   73592756     0
    120632   866   75344900     118046     0   74888502     0

Среди плюсов - ошибок стало меньше при обычных настройках.
Но трафик чтото выше 400мбит не поднимается.

[Elisium]

Ммм ..
Очень похожая фигня была на Броадкомовских сетевках и паре слабых 4хядерников.
Решилось только заменой сетевых на Интел 1000 Про и теперишний ксеончик 5460.

А вот в данном случае - жирный проц, норм сетевухи и такой НИКАКОЙ траф  с ошибками и дикой загрузкой ..
"на этом мысль обрывается (с)"

В сисцтл.конф ченить полезное натюнено хоть ?

п.с. БЕЗ шейпера есть ошибки на сетевухах ?
как с загрузкой проца в этот момент ?

[goletsa]

Ммм ..
Очень похожая фигня была на Броадкомовских сетевках и паре слабых 4хядерников.
Решилось только заменой сетевых на Интел 1000 Про и теперишний ксеончик 5460.

А вот в данном случае - жирный проц, норм сетевухи и такой НИКАКОЙ траф  с ошибками и дикой загрузкой ..
"на этом мысль обрывается (с)"

В сисцтл.конф ченить полезное натюнено хоть ?

п.с. БЕЗ шейпера есть ошибки на сетевухах ?
как с загрузкой проца в этот момент ?

Ну квадик конечно не самый топовый. Всего 2.8GHz. 50к за проц как у вас выкладывать смысла нету т.к. на 5к дороже стоит полностью еще одна платформа с Q9550 на борту а судя по вашим цифрам особого прироста это не даст. Ну еще лишние 100мбит может пропустит.

Без шейпера (allow ip from any to any) ошибок нету но при этом pps гдето на 15кpps ниже полученного мной на обычных дровах. Т.е. буду откатываться на интеловый драйвер.
Все 4 ядра при этом захаваны ядерными процессами сетевых.
Вообще смысл от яндексовых дров есть при 8+ ядрах. На 4 както не особо выходит.

В сисцтл немного потюнен dummynet но это дает не очень много выигрыша. Плюс подкручены dev.em.

xd В общем еще жду новую платформу с Xeon 55xx на борту и ET Dualport карточками. Посмотрим как она осилит такую же нагрузку. Как никак DDR3 память + изначально заточенная под SMP карточка.

[Elisium]

Ну, этот проц нам отдали за совсем вменяемые деньги, а не за те, что обычно пишут на прайсах итд.
А прокачка в ТРИ раза больше трафа (400 было же ?) относительно 9550 - вроде как очень неплохо, имхо.

п.с. собираем второй сервер на Коре и7 + ЕТ/РТ карты.

[goletsa]

450 в Full Duplex (450+450).
Так что не в три раза.

[goletsa]

Кстати можете показать свой конфиг ядра? Есть одна глупая мысля...

[Elisium]

Кстати можете показать свой конфиг ядра? Есть одна глупая мысля...

Файлик приложил.
п.с. нетграф у меня грузится модулями.
Чего так ? както НА ГЛАЗ заметно, что модулями быстрее работает.
Ну вот то ли замерял так, то ли фазы луны стояли не те, но выходило модулями - быстрее. Мерял кппс.

[goletsa]

Кстати можете показать свой конфиг ядра? Есть одна глупая мысля...

Файлик приложил.
п.с. нетграф у меня грузится модулями.
Чего так ? както НА ГЛАЗ заметно, что модулями быстрее работает.
Ну вот то ли замерял так, то ли фазы луны стояли не те, но выходило модулями - быстрее. Мерял кппс.

У вас ng_nat чтоли? Не видно тех же pf в конфиге чтото.
Или тоже модулями идет.

[Elisium]

модулем.

п.с. кстати, на наге тема интересная про торренты и кппс ))

[goletsa]

модулем.

п.с. кстати, на наге тема интересная про торренты и кппс ))

Угу. Т.к. ng_bpf у меня не работает, колдую над лимитированием pps на udp трафик с портами выше 1024 и размером меньше 128 байт. Думаю это должно помочь

[Elisium]

Угу. Т.к. ng_bpf у меня не работает, колдую над лимитированием pps на udp трафик с портами выше 1024 и размером меньше 128 байт. Думаю это должно помочь

Ну как продвигаются дела в этом направлении ?
С бпф таки да, косяки какието ((

[Aivanzipper]

колдую над лимитированием pps на udp трафик с портами выше 1024 и размером меньше 128 байт.

А толку от пакетов < 128b? Новый uTorrent генерирует минимальные пакеты 150b.
Я пока фильтрую вот так:

Код:

deny udp from table 0 to any iplen 61

[goletsa]

колдую над лимитированием pps на udp трафик с портами выше 1024 и размером меньше 128 байт.

А толку от портов < 128b? Новый uTorrent генерирует минимальные пакеты 150b.
Я пока фильтрую вот так:

Код:

deny udp from table 0 to any iplen 61

Это тупой фильтр. ВО первых он блокирует днс трафик, у мну например средний размер пакета утп 58 байт вышел а не 61.
ng_bpf в целом заработал на одном из серверов но на втором почемуто показал мне панику.