Биллинговая система Nodeny

Здравствуйте, в час пик начинают пропадать пинги у клиентов и соответствено  начинают глючить  онлайн игры, вот скрин  top -aSP,  видно большую загрузку load averages как єто исправить ?

last pid: 57059;  load averages:  2.73,  2.41,  2.28   up 21+00:14:47  21:46:42
145 processes: 8 running, 115 sleeping, 22 waiting
CPU 0: 16.6% user,  0.0% nice, 40.2% system, 33.6% interrupt,  9.6% idle
CPU 1: 17.7% user,  0.0% nice, 52.0% system, 25.1% interrupt,  5.2% idle
Mem: 626M Active, 79M Inact, 236M Wired, 24M Cache, 110M Buf, 17M Free
Swap: 4096M Total, 559M Used, 3537M Free, 13% Inuse

  PID USERNAME    THR PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
   12 root         22 -60    -     0K   176K WAIT    0 119.8H 46.48% [intr]
 1241 root          1 105    0  3292K   656K RUN     1 393.5H 44.29% /usr/local
    0 root         12 -68    0     0K    88K -       1  27.6H 41.80% [kernel]
 1429 root          4  45  -15 17900K 12756K CPU1    1 119.6H 41.26% /usr/local
75992 root          1  44  -15 58508K 45316K nanslp  1 168:49 10.25% perl noden
   11 root          2 171 ki31     0K    16K RUN     0 308.8H  9.86% [idle]
 1397 mysql        22  44    0  1181M   523M sbwait  1 261:28  1.37% /usr/local
 1617 root          1  44  -15 11404K  4652K sbwait  0 168:33  0.49% perl noser
 1088 bind          5  44    0   112M 57508K kqread  1 298:07  0.00% /usr/sbin/
   13 root          1  44    -     0K     8K -       0  70:54  0.00% [yarrow]
 1614 root          1  44  -15 10396K  3788K RUN     0  42:20  0.00% perl nol2a
   17 root          1  44    -     0K     8K syncer  0  26:33  0.00% [syncer]
  632 root          1  44    -     0K     8K pftm    0  23:30  0.00% [pfpurge]
    3 root          1  -8    -     0K     8K -       0   8:56  0.00% [g_up]
    7 root          1  44    -     0K     8K psleep  0   6:55  0.00% [pagedaemo
    4 root          1  -8    -     0K     8K -       0   4:42  0.00% [g_down]

тюнинг ядра
покупка производительных сетевых карт
покупка производительного роутера
распределение нагрузки

можно пример конфигурационный файл по тюненгу ядра ?
сетевые intel et42
а может ему не хватать опиравтивки , и как єто можно проверить ?

O_O
На роутере? Что же там еще крутится?

что-то в /usr/local жрет много

лучше сделать вывод через top -SPH
или ps -aux

ipcad скорее всего если он в divert запущен.

Память в 2013 году такая же дорогая как и в 1993 ?

et42 еще надо правильно готовить

можно расшифровывать что тут написано ?

а где можно посмотреть как он запущен ?

ipfw show

ipfw show
00050     3337962      308583781 allow tcp from any to me dst-port 22
00051     3000820      628587462 allow tcp from me 22 to any
00065          37           1976 allow tcp from any to me dst-port 1723
00066           0              0 allow tcp from me 1723 to any
00067    47372033    23016384290 allow gre from any to any
00070           4            176 allow tcp from any to me dst-port 42
00071           0              0 allow tcp from me 42 to any
00080          42           2066 allow udp from any to me dst-port 42
00081           0              0 allow udp from me 42 to any
00110    30187135   221158475074 allow ip from any to any via lo0
00120    70674780    14359845592 skipto 1000 ip from me to any
00130      720090       40397094 deny icmp from any to any in icmptypes 5,9,13,1                                                                             4,15,16,17
00140           0              0 deny ip from any to table(120)
00150           0              0 deny ip from table(120) to any
00160   817140541    68559895847 skipto 2000 ip from any to me
00200 38277369382 33441020535690 skipto 500 ip from any to any via igb1
00300 14595224795  3693863756336 skipto 4500 ip from any to any in
00400 23646184672 29596826977440 skipto 450 ip from any to any recv igb1
00420    68322347    19855674279 divert 1 ip from any to any
00450 23714515125 29617002250647 divert 2 ip from any to any
00490 23400300332 29266088151911 allow ip from any to any
00500 23785373818 29779279696033 skipto 32500 ip from any to any in
00510 14493784525  3662362730719 divert 1 ip from any to any
00540 14464187456  3654633718832 allow ip from any to any
01000    44048573    11334793988 allow udp from any 53,7723 to any
01010       31609        6750789 allow tcp from any to any setup keep-state
01020    47261514     8222735522 allow udp from any to any keep-state
01100     2722033     1155785881 allow ip from any to any
02000           0              0 check-state
02010     5221660     3298973427 allow icmp from any to any
02020      808283       92429795 allow tcp from any to any dst-port 80,443
02060    44306554     2933321247 allow udp from any to any dst-port 53,7723
02100   743415161    55874925918 deny ip from any to any
05000     5021573      378823635 deny ip from not table(0) to any
05001           0              0 skipto 5010 ip from table(127) to table(126)
05002 14521082215  3673373235195 skipto 5030 ip from any to not table(2)
05003      110937       31279267 deny ip from any to not table(1)
05004    68846766    20052667693 pipe tablearg ip from table(21) to any
05005           0              0 deny ip from any to any
05010           0              0 pipe tablearg ip from table(127) to any
05030     1680497       74974456 deny tcp from table(15) to any dst-port 25
05400 14518980710  3673239428500 pipe tablearg ip from table(11) to any
32000         131          17219 deny ip from any to any
32490        8644         559429 deny ip from any to any
33000           0              0 pipe tablearg ip from table(126) to table(127)
33001 23785178370 29779175201395 skipto 33010 ip from not table(2) to any
33002          11           1419 pipe tablearg ip from any to table(20)
33003           0              0 deny ip from any to any
33400 23784562282 29778620179356 pipe tablearg ip from any to table(10)
65535       63330        7342980 deny ip from any to any

top -SPH

last pid: 36742;  load averages:  1.06,  1.23,  1.26                                                                                up 23+11:54:18  09:26:13
144 processes: 5 running, 117 sleeping, 22 waiting
CPU 0: 28.1% user,  0.0% nice, 17.2% system,  5.2% interrupt, 49.4% idle
CPU 1: 23.7% user,  0.0% nice, 46.2% system,  3.8% interrupt, 26.3% idle
Mem: 626M Active, 94M Inact, 230M Wired, 26M Cache, 110M Buf, 3788K Free
Swap: 4096M Total, 515M Used, 3581M Free, 12% Inuse

  PID USERNAME   PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
 1241 root       110    0  3292K   656K CPU0    0 442.2H 63.96% rinetd
   11 root       171 ki31     0K    16K RUN     0 182.6H 51.86% {idle: cpu0}
 1429 root        44  -15 11756K  4748K RUN     1  79.4H 23.29% {ipcad}
 1429 root        44  -15 11756K  4748K sbwait  0  51.7H 16.26% {ipcad}
    0 root       -68    0     0K    88K -       0  29.0H 12.26% {dummynet}
   11 root       171 ki31     0K    16K RUN     1 166.3H 10.89% {idle: cpu1}
   12 root       -68    -     0K   176K WAIT    1  37.1H  3.96% {irq260: igb1:que}
   12 root       -68    -     0K   176K WAIT    0  39.1H  1.76% {irq259: igb1:que}
   12 root       -68    -     0K   176K WAIT    1  24.9H  1.76% {irq257: igb0:que}
   12 root       -68    -     0K   176K WAIT    0  28.3H  1.66% {irq256: igb0:que}
75992 root        44  -15 58508K 33420K nanslp  0 272:30  0.29% perl5.10.1
 1617 root        44  -15 11404K  4620K nanslp  0 187:23  0.10% perl5.10.1
   12 root       -32    -     0K   176K WAIT    0 100:52  0.10% {swi4: clock}
    0 root       -68    0     0K    88K -       1  73:37  0.10% {igb0 que}
 1088 bind        44    0   112M 54068K ucond   0 141:50  0.00% {named}
 1088 bind        44    0   112M 54068K ucond   0 141:46  0.00% {named}
   13 root        44    -     0K     8K -       0  79:20  0.00% yarrow
 1397 mysql       44    0  1181M   533M ucond   0  57:38  0.00% {mysqld}
 1614 root        44  -15 10396K  3756K select  0  47:15  0.00% perl5.10.1
 1088 bind        44    0   112M 54068K kqread  1  41:22  0.00% {named}
    0 root       -68    0     0K    88K -       1  34:52  0.00% {igb1 que}
 1397 mysql       44    0  1181M   533M ucond   0  33:39  0.00% {mysqld}
 1397 mysql       44    0  1181M   533M sbwait  1  33:35  0.00% {mysqld}
   17 root        44    -     0K     8K syncer  0  29:29  0.00% syncer
 1397 mysql       44    0  1181M   533M sbwait  0  27:47  0.00% {mysqld}
 1397 mysql       44    0  1181M   533M ucond   0  26:08  0.00% {mysqld}
  632 root        44    -     0K     8K pftm    0  25:57  0.00% pfpurge
 1397 mysql       45    0  1181M   533M sbwait  0  24:49  0.00% {mysqld}
 1397 mysql       44    0  1181M   533M sbwait  0  22:54  0.00% {mysqld}
 1397 mysql       44    0  1181M   533M ucond   0  22:53  0.00% {mysqld}
 1397 mysql       44    0  1181M   533M ucond   0  22:26  0.00% {mysqld}
 1397 mysql       44    0  1181M   533M sbwait  1  11:25  0.00% {mysqld}
    3 root        -8    -     0K     8K -       0  10:00  0.00% g_up
    7 root        44    -     0K     8K psleep  1   8:01  0.00% pagedaemon
 1397 mysql       44    0  1181M   533M ucond   0   6:39  0.00% {mysqld}
 1397 mysql       44    0  1181M   533M select  0   6:04  0.00% {mysqld}
 1397 mysql       44    0  1181M   533M ucond   0   5:44  0.00% {mysqld}
    4 root        -8    -     0K     8K -       0   5:20  0.00% g_down


ps -aux

USER     PID %CPU %MEM   VSZ   RSS  TT  STAT STARTED      TIME COMMAND
root    1241 63.2  0.1  3292   656  ??  Rs   31Dec12 26533:58.90 /usr/local/sbin/rinetd
root      11 62.3  0.0     0    16  ??  RL   31Dec12 20934:11.91 [idle]
root    1429 41.5  0.6 11756  5772  ??  S<s  31Dec12 7971:24.43 /usr/local/bin/ipcad -rds -c /usr/local/etc/ipcad.conf
root       0 10.8  0.0     0    88  ??  DLs  31Dec12 1849:21.88 [kernel]
root      12  9.2  0.0     0   176  ??  WL   31Dec12 7876:13.96 [intr]
bind    1088  0.1  5.3 114852 54068  ??  Rs   31Dec12 329:09.10 /usr/sbin/named -u bind -t /var/named -u bind
root       1  0.0  0.0  2912    88  ??  ILs  31Dec12   0:11.12 /sbin/init --
root       2  0.0  0.0     0     8  ??  DL   31Dec12   1:13.08 [g_event]
root       3  0.0  0.0     0     8  ??  DL   31Dec12   9:59.99 [g_up]
root       4  0.0  0.0     0     8  ??  DL   31Dec12   5:19.81 [g_down]
root       5  0.0  0.0     0     8  ??  DL   31Dec12   0:00.00 [sctp_iterator]
root       6  0.0  0.0     0     8  ??  DL   31Dec12   0:00.00 [xpt_thrd]
root       7  0.0  0.0     0     8  ??  DL   31Dec12   8:01.28 [pagedaemon]
root       8  0.0  0.0     0     8  ??  DL   31Dec12   0:05.00 [vmdaemon]
root       9  0.0  0.0     0     8  ??  DL   31Dec12   0:00.02 [pagezero]
root      10  0.0  0.0     0     8  ??  DL   31Dec12   0:00.00 [audit]
root      13  0.0  0.0     0     8  ??  DL   31Dec12  79:19.80 [yarrow]
root      14  0.0  0.0     0   160  ??  DL   31Dec12   0:32.90 [usb]
root      15  0.0  0.0     0     8  ??  DL   31Dec12   0:01.84 [idlepoll]
root      16  0.0  0.0     0     8  ??  DL   31Dec12   0:06.61 [bufdaemon]
root      17  0.0  0.0     0     8  ??  DL   31Dec12  29:29.47 [syncer]
root      18  0.0  0.0     0     8  ??  DL   31Dec12   0:09.97 [vnlru]
root      19  0.0  0.0     0     8  ??  DL   31Dec12   0:19.76 [softdepflush]
root     632  0.0  0.0     0     8  ??  DL   31Dec12  25:57.02 [pfpurge]
root     786  0.0  0.0  1888   204  ??  Is   31Dec12   0:00.01 /sbin/devd
root    1003  0.0  0.1  3352   808  ??  Ss   31Dec12   0:37.35 /usr/sbin/syslogd -l /var/run/log -l /var/named/var/run/log -s
mysql   1366  0.0  0.0  3632     0  ??  IWs  -         0:00.00 /bin/sh /usr/local/bin/mysqld_safe --defaults-extra-file=/var/db/mysql/my.cnf --user=mysql --
mysql   1397  0.0 53.4 1209776 546340  ??  S    31Dec12 415:20.34 /usr/local/libexec/mysqld --defaults-extra-file=/var/db/mysql/my.cnf --basedir=/usr/local --d
root    1444  0.0  0.3 10592  3064  ??  Ss   31Dec12   0:47.08 /usr/local/sbin/httpd -DNOHTTPACCEPT
root    1473  0.0  0.1  6716  1404  ??  Is   31Dec12   1:47.56 /usr/sbin/sshd
root    1481  0.0  0.2  6092  1808  ??  Ss   31Dec12   0:25.54 sendmail: accepting connections (sendmail)
smmsp   1487  0.0  0.0  6092     0  ??  IWs  -         0:00.00 sendmail: Queue runner@00:30:00 for /var/spool/clientmqueue (sendmail)
root    1494  0.0  0.0  3384   400  ??  Is   31Dec12   0:03.48 /usr/sbin/cron -s
root    1560  0.0  0.1  3412   656  ??  Is   31Dec12   0:00.00 /usr/sbin/inetd -wW
root    1614  0.0  0.4 10396  3756  ??  S<   31Dec12  47:14.84 perl nol2auth.pl (perl5.10.1)
root    1617  0.0  0.5 11404  4620  ??  S<   31Dec12 187:23.56 perl noserver.pl (perl5.10.1)
www    27895  0.0  0.2 10592  1764  ??  I     1:35AM   0:00.09 /usr/local/sbin/httpd -DNOHTTPACCEPT
www    27933  0.0  0.2 10592  1768  ??  I     1:36AM   0:00.02 /usr/local/sbin/httpd -DNOHTTPACCEPT
www    27949  0.0  0.2 10592  1768  ??  S     1:36AM   0:00.09 /usr/local/sbin/httpd -DNOHTTPACCEPT
www    36622  0.0  0.4 10592  3600  ??  I     9:20AM   0:00.00 /usr/local/sbin/httpd -DNOHTTPACCEPT
www    36624  0.0  0.4 10592  3588  ??  I     9:20AM   0:00.00 /usr/local/sbin/httpd -DNOHTTPACCEPT
www    36625  0.0  0.4 10592  3588  ??  I     9:20AM   0:00.00 /usr/local/sbin/httpd -DNOHTTPACCEPT
www    36630  0.0  0.4 10592  3584  ??  I     9:20AM   0:00.00 /usr/local/sbin/httpd -DNOHTTPACCEPT
www    36631  0.0  0.4 10592  3584  ??  I     9:20AM   0:00.00 /usr/local/sbin/httpd -DNOHTTPACCEPT
www    36634  0.0  0.4 10592  3588  ??  I     9:20AM   0:00.00 /usr/local/sbin/httpd -DNOHTTPACCEPT
www    36636  0.0  0.4 10592  3584  ??  I     9:20AM   0:00.00 /usr/local/sbin/httpd -DNOHTTPACCEPT
root   36713  0.0  0.3  9440  3124  ??  Is    9:24AM   0:00.04 sshd: bender [priv] (sshd)
bender 36717  0.0  0.3  9440  3212  ??  S     9:24AM   0:00.01 sshd: bender@pts/0 (sshd)
root   75992  0.0  3.2 58508 33148  ??  S<   Thu09PM 272:30.68 perl nodeny.pl (perl5.10.1)
root    1405  0.0  0.0  3632     0  v0- IW   -         0:00.00 sh go.sh noserver
root    1414  0.0  0.0  3632     0  v0- IW   -         0:00.00 sh go.sh nol2auth
root    1421  0.0  0.0  3632     0  v0- IW   -         0:00.00 sh go.sh nodeny
root    1601  0.0  0.1  3352   612  v0  Is+  31Dec12   0:00.00 /usr/libexec/getty Pc ttyv0
root    1602  0.0  0.1  3352   612  v1  Is+  31Dec12   0:00.00 /usr/libexec/getty Pc ttyv1
root    1603  0.0  0.1  3352   612  v2  Is+  31Dec12   0:00.00 /usr/libexec/getty Pc ttyv2
root    1604  0.0  0.1  3352   612  v3  Is+  31Dec12   0:00.00 /usr/libexec/getty Pc ttyv3
root    1605  0.0  0.1  3352   612  v4  Is+  31Dec12   0:00.00 /usr/libexec/getty Pc ttyv4
root    1606  0.0  0.1  3352   612  v5  Is+  31Dec12   0:00.00 /usr/libexec/getty Pc ttyv5
root    1607  0.0  0.1  3352   612  v6  Is+  31Dec12   0:00.00 /usr/libexec/getty Pc ttyv6
root    1608  0.0  0.1  3352   612  v7  Is+  31Dec12   0:00.00 /usr/libexec/getty Pc ttyv7
bender 36718  0.0  0.1  3632  1276   0  Is    9:24AM   0:00.00 -sh (sh)
root   36720  0.0  0.1  3816  1376   0  I     9:24AM   0:00.01 su
root   36721  0.0  0.2  5656  2208   0  R     9:25AM   0:00.01 _su (csh)
root   36749  0.0  0.1  3432   944   0  R+    9:26AM   0:00.00 ps -aux

Вместо divert - tee, dummynet к 0 ядру привязывай

об этом ооочень много написано на форуме:
как заменить divert на tee
как привязать процесс к ядру, хотя я бы не трогал встроенный шедуллер в версия > 8.3, он достаточно адекватный

это нужно заменить  divert на tee только в rc.firewall ? или еще где то ?

да

В конфиге ipcad еще вроде

ipcad я бы ваще запустил в flow потоки отдельно на интерфейсы vlan/ethernet

Магия какая-то, но нагрузка от dummynet падает до 0

какая версия фри?

Там не все так очевидно.
http://dadv.livejournal.com/173258.html

cpuset -l 0 -t $(procstat -t 0 | awk '/dummynet/ {print $2}')

кстати Dummynet ушел в 0% загрузку, до этого был 40
0 root       -68    0     0K    80K -       0   6:05  0.00% kernel{dummynet}

будто он вовсе не работает

Аналогичные странные эффекты наблюдаются с dummynet и на четырехядерных системах - привязка dummynet к CPU0 даёт нулевую загрузку CPU в непиковое время, перепривязка на CPU1 может тут же дать 80% загрузки, на CPU2 - 5%, на CPU3 около 1.5% (цифры неточные, но порядок величин сохранён). Эта проблема ещё ждет своего исправления, но обходной путь - привязка dummynet к CPU0 - вполне надежен.

и все же разницы нет, со временем такие же показатели:

0 root       -68    0     0K    80K CPU2    2 119:50 93.07% kernel{em1 taskq}
0 root       -68    0     0K    80K CPU0    0 145:16 83.89% kernel{dummynet}
0 root       -68    0     0K    80K CPU1    1  98:10 69.48% kernel{em0 taskq}

я бы советовал сделать net.inet.ip.dummynet.io_fast, чтобы попусту dummynet не гонять, к тому же он не может распараллелиться по дефолту

Исправил в rc.firewall divert на tee и в ipcad.conf стало намного лучше, перестали пропадать пинги, но есть все равно резкое   возрастания пингов,  а также прикрутил dummynet к ядру, что можно еще подправить  ???

сколько карточек в системе?
сколько ядер?
sysctl и тюнинг карточек может улучшить дело
my.cf поправить для mysql
и apache

Карточка Intel E1G42ET, два ядра , а можно пример файла для тюнинга сетевой ?

systcl.conf

net.inet.ip.forwarding=1
net.inet.ip.fastforwarding=1
net.inet.tcp.blackhole=2
net.inet.udp.blackhole=0
net.route.netisr_maxqlen=4096
#net.inet.icmp.drop_redirect=1
#net.inet.icmp.log_redirect=0
#net.inet.ip.redirect=0
#net.inet.ip.sourceroute=0
#net.inet.ip.accept_sourceroute=0
#net.inet.icmp.bmcastecho=0
#net.inet.icmp.maskrepl=0
#net.link.ether.inet.max_age=30
#net.inet.tcp.drop_synfin=1
#net.inet.tcp.syncookies=1
kern.ipc.somaxconn=32768
kern.maxfiles=204800
kern.maxfilesperproc=200000
kern.ipc.nmbclusters=524288
kern.ipc.maxsockbuf=83886080
#kern.random.sys.harvest.ethernet=0
#kern.rendom.sys.harvest.interrupt=0
net.inet.ip.dummynet.io_fast=1
net.inet.ip.dummynet.max_chain_len=2048
net.inet.ip.dummynet.hash_size=65535
net.inet.ip.dummynet.pipe_slot_limit=2048
net.inet.carp.preempt=1
net.inet.carp.log=1
kern.ipc.shmmax=67108864
net.inet.ip.intr_queue_maxlen=1024
#net.inet.ip.fw.one_pass=0
dev.igb.0.enable_lro=0
dev.igb.1.enable_lro=0
dev.igb.0.enable_aim=0
dev.igb.1.enable_aim=0
dev.igb.0.rx_processing_limit=4096
dev.igb.0.flow_control=0
dev.igb.1.rx_processing_limit=4096
dev.igb.1.flow_control=0

примеров быть не может, все индивидуально.

Уточните о каком железе идет речь (CPU,MB) и версии софта (FreeBSD)?
Ну и конечно хотелось бы увидеть netstat -w1 -I igb0 в час пик.

Переезжайте на ET карты, с 8.3-STABLE полет с ними нормальный, неплохо параллелятся по ядрам.

у меня трабла например в том, что ограничен PCI-X разъемами на Dell 2650

Не очень свежее железо. Тогда понятно.
Я вот по возможности уже от Core2 избавляюсь, новые платформы куда шустрее при том же потреблении.
Но пока не пробовал S1155\S2011.