Пропадают пинги

[gonhik]

это нужно заменить  divert на tee только в rc.firewall ? или еще где то ?

[stix]

да

[goletsa]

В конфиге ipcad еще вроде

[stix]

ipcad я бы ваще запустил в flow потоки отдельно на интерфейсы vlan/ethernet

[Demeo]

как привязать процесс к ядру, хотя я бы не трогал встроенный шедуллер в версия > 8.3, он достаточно адекватный

Магия какая-то, но нагрузка от dummynet падает до 0

[stix]

какая версия фри?

[goletsa]

как привязать процесс к ядру, хотя я бы не трогал встроенный шедуллер в версия > 8.3, он достаточно адекватный

Магия какая-то, но нагрузка от dummynet падает до 0

Там не все так очевидно.
http://dadv.livejournal.com/173258.html

[stix]

cpuset -l 0 -t $(procstat -t 0 | awk '/dummynet/ {print $2}')

кстати Dummynet ушел в 0% загрузку, до этого был 40
0 root       -68    0     0K    80K -       0   6:05  0.00% kernel{dummynet}

будто он вовсе не работает

Аналогичные странные эффекты наблюдаются с dummynet и на четырехядерных системах - привязка dummynet к CPU0 даёт нулевую загрузку CPU в непиковое время, перепривязка на CPU1 может тут же дать 80% загрузки, на CPU2 - 5%, на CPU3 около 1.5% (цифры неточные, но порядок величин сохранён). Эта проблема ещё ждет своего исправления, но обходной путь - привязка dummynet к CPU0 - вполне надежен.

[stix]

и все же разницы нет, со временем такие же показатели:

0 root       -68    0     0K    80K CPU2    2 119:50 93.07% kernel{em1 taskq}
0 root       -68    0     0K    80K CPU0    0 145:16 83.89% kernel{dummynet}
0 root       -68    0     0K    80K CPU1    1  98:10 69.48% kernel{em0 taskq}

я бы советовал сделать net.inet.ip.dummynet.io_fast, чтобы попусту dummynet не гонять, к тому же он не может распараллелиться по дефолту

[gonhik]

Исправил в rc.firewall divert на tee и в ipcad.conf стало намного лучше, перестали пропадать пинги, но есть все равно резкое   возрастания пингов,  а также прикрутил dummynet к ядру, что можно еще подправить 

[stix]

сколько карточек в системе?
сколько ядер?
sysctl и тюнинг карточек может улучшить дело
my.cf поправить для mysql
и apache

[gonhik]

Карточка Intel E1G42ET, два ядра , а можно пример файла для тюнинга сетевой ?

systcl.conf

net.inet.ip.forwarding=1
net.inet.ip.fastforwarding=1
net.inet.tcp.blackhole=2
net.inet.udp.blackhole=0
net.route.netisr_maxqlen=4096
#net.inet.icmp.drop_redirect=1
#net.inet.icmp.log_redirect=0
#net.inet.ip.redirect=0
#net.inet.ip.sourceroute=0
#net.inet.ip.accept_sourceroute=0
#net.inet.icmp.bmcastecho=0
#net.inet.icmp.maskrepl=0
#net.link.ether.inet.max_age=30
#net.inet.tcp.drop_synfin=1
#net.inet.tcp.syncookies=1
kern.ipc.somaxconn=32768
kern.maxfiles=204800
kern.maxfilesperproc=200000
kern.ipc.nmbclusters=524288
kern.ipc.maxsockbuf=83886080
#kern.random.sys.harvest.ethernet=0
#kern.rendom.sys.harvest.interrupt=0
net.inet.ip.dummynet.io_fast=1
net.inet.ip.dummynet.max_chain_len=2048
net.inet.ip.dummynet.hash_size=65535
net.inet.ip.dummynet.pipe_slot_limit=2048
net.inet.carp.preempt=1
net.inet.carp.log=1
kern.ipc.shmmax=67108864
net.inet.ip.intr_queue_maxlen=1024
#net.inet.ip.fw.one_pass=0
dev.igb.0.enable_lro=0
dev.igb.1.enable_lro=0
dev.igb.0.enable_aim=0
dev.igb.1.enable_aim=0
dev.igb.0.rx_processing_limit=4096
dev.igb.0.flow_control=0
dev.igb.1.rx_processing_limit=4096
dev.igb.1.flow_control=0

[stix]

примеров быть не может, все индивидуально.

[goletsa]

Уточните о каком железе идет речь (CPU,MB) и версии софта (FreeBSD)?
Ну и конечно хотелось бы увидеть netstat -w1 -I igb0 в час пик.

[goletsa]

и все же разницы нет, со временем такие же показатели:

0 root       -68    0     0K    80K CPU2    2 119:50 93.07% kernel{em1 taskq}
0 root       -68    0     0K    80K CPU0    0 145:16 83.89% kernel{dummynet}
0 root       -68    0     0K    80K CPU1    1  98:10 69.48% kernel{em0 taskq}

я бы советовал сделать net.inet.ip.dummynet.io_fast, чтобы попусту dummynet не гонять, к тому же он не может распараллелиться по дефолту

Переезжайте на ET карты, с 8.3-STABLE полет с ними нормальный, неплохо параллелятся по ядрам.

Код:

last pid: 62506;  load averages:  1.28,  1.05,  1.02                       up 103+16:05:14 11:42:21
145 processes: 6 running, 101 sleeping, 38 waiting
CPU 0:  6.4% user,  0.0% nice,  2.6% system, 21.7% interrupt, 69.3% idle
CPU 1:  5.6% user,  0.0% nice,  1.5% system, 19.2% interrupt, 73.7% idle
CPU 2:  9.8% user,  0.0% nice,  2.6% system, 15.8% interrupt, 71.8% idle
CPU 3:  7.5% user,  0.0% nice,  1.5% system, 20.3% interrupt, 70.7% idle
Mem: 97M Active, 2731M Inact, 715M Wired, 122M Cache, 414M Buf, 212M Free
Swap: 4096M Total, 4096M Free

  PID USERNAME PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
   11 root     171 ki31     0K    64K RUN     1 1503.4 80.76% idle{idle: cpu1}
   11 root     171 ki31     0K    64K CPU2    2 1503.4 79.30% idle{idle: cpu2}
   11 root     171 ki31     0K    64K RUN     0 1515.2 76.37% idle{idle: cpu0}
   11 root     171 ki31     0K    64K RUN     3 1508.4 66.99% idle{idle: cpu3}
   12 root     -68    -     0K   624K WAIT    0 369.7H 10.79% intr{irq268: igb2:que}
   12 root     -68    -     0K   624K WAIT    2 338.6H 10.16% intr{irq258: igb0:que}
   12 root     -68    -     0K   624K CPU3    3 366.5H 10.06% intr{irq267: igb2:que}
   12 root     -68    -     0K   624K WAIT    0 339.8H  9.77% intr{irq256: igb0:que}
   12 root     -68    -     0K   624K WAIT    3 336.3H  9.18% intr{irq259: igb0:que}
   12 root     -68    -     0K   624K WAIT    1 339.4H  8.59% intr{irq257: igb0:que}
   12 root     -68    -     0K   624K WAIT    2 369.0H  8.15% intr{irq266: igb2:que}
 1453 root      44  -15 54732K 33080K nanslp  3 213.6H  8.06% perl5.12.4
   12 root     -68    -     0K   624K WAIT    1 368.1H  7.96% intr{irq269: igb2:que}
    0 root     -68    0     0K   448K -       1 371.0H  7.67% kernel{dummynet}
 1394 root      44  -15 50420K 40972K sbwait  3 253.3H  6.79% ipcad{ipcad}
 1394 root      44  -15 50420K 40972K sbwait  1 205.5H  5.57% ipcad{ipcad}