Биллинговая система Nodeny

Періодично сильно завантажується процесор, при відносно невеликій кількості трафіку, допомагає тільки перевантажити сервер, мережеві карти міняв - не допомогло (зараз стоїть 4-х портова серверна інтел)

Таке стається десь раз в місяць

є два транки (lacp) em0+em1 i em2+em3 (відповідно на вхід і на вихід)

якщо одну з мережевих карт під час проблеми відключити то нагрузка на процесор зменшується десь на 10-15% ( на всі ядра )
можливо потрібно змінити якісь налаштування на свічі куди включається сервер ?




last pid: 67542;  load averages:  3.75,  4.12,  5.96                                                                                                                                                                up 25+16:19:44  15:23:59
157 processes: 8 running, 123 sleeping, 2 zombie, 24 waiting
CPU 0: 12.2% user,  0.0% nice, 74.7% system,  0.4% interrupt, 12.7% idle
CPU 1: 12.2% user,  0.0% nice, 79.0% system,  0.0% interrupt,  8.7% idle
CPU 2:  8.3% user,  0.0% nice, 79.4% system,  0.4% interrupt, 11.8% idle
CPU 3:  8.7% user,  0.0% nice, 82.5% system,  0.0% interrupt,  8.7% idle
Mem: 109M Active, 1671M Inact, 995M Wired, 676K Cache, 827M Buf, 5135M Free
Swap: 4096M Total, 4096M Free

  PID USERNAME   PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
    0 root       -68    0     0K   288K -       3 141.1H 87.35% [kernel{em1 que}]
    0 root       -68    0     0K   288K -       3 186.5H 78.17% [kernel{dummynet}]
    0 root       -68    0     0K   288K CPU2    3 246.2H 71.58% [kernel{em2 que}]
    0 root       -68    0     0K   288K -       1 246.8H 57.08% [kernel{em3 que}]
    0 root       -68    0     0K   288K CPU0    3 139.5H 25.29% [kernel{em0 que}]
   11 root       171 ki31     0K    64K RUN     0 317.7H 18.46% [idle{idle: cpu0}]



[root@r2 ~]# netstat -w1
            input        (Total)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
    162288     0     0  141804014     156700     0  141692683     0
    181636     0     0  165874623     174373     0  163840874     0
    186008     0     0  175738936     179095     0  174309792     0
    198970     0     0  186879602     191388     0  184239662     0
    200316     0     0  187283821     192175     0  184802179     0
    183097     0     0  165536244     175950     0  163799343     0
    178494     0     0  160952197     171568     0  158220222     0
    175080     0     0  157215953     168044     0  155552852     0
    164331     0     0  151155424     157015     0  148596740     0
    175578     0     0  158306884     168096     0  155727066     0
    177484     0     0  155800342     170742     0  154299328     0
    178285     0     0  161487931     170677     0  158527396     0
    171805     0     0  150625561     164949     0  148511994     0
    184036     0     0  168726026     175787     0  164654348     0
    162893    35     0  138568205     154538     0  134645792     0
    154984     0     0  128698771     146725     0  125104103     0
    151255     0     0  125074210     143196     0  121678993     0
    180723    40     0  158082465     171937     0  154049651     0
    176432     0     0  155662808     168068     0  151338933     0
    171529     0     0  149969450     158638     0  154948203     0
    163201     0     0  146114629     154782     0  142619637     0
    155703     0     0  133694886     147702     0  131052271     0
    171579     0     0  152925642     163799     0  149639206     0
    181814     0     0  164549223     174824     0  162739959     0
[root@r2 ~]#




[root@r2 ~]# sysctl -a | egrep -i 'hw.machine|hw.model|hw.ncpu'
hw.machine: amd64
hw.model: Intel(R) Xeon(R) CPU            5160  @ 3.00GHz
hw.ncpu: 4
hw.machine_arch: amd64
[root@r2 ~]#







після перевантаження сервера:


186 processes: 8 running, 151 sleeping, 3 zombie, 24 waiting
CPU 0:  0.0% user,  0.0% nice, 48.9% system,  0.5% interrupt, 50.5% idle
CPU 1:  0.5% user,  0.0% nice, 48.9% system,  0.5% interrupt, 50.0% idle
CPU 2:  0.0% user,  0.0% nice, 53.8% system,  0.5% interrupt, 45.7% idle
CPU 3:  1.1% user,  0.0% nice, 55.1% system,  0.5% interrupt, 43.2% idle
Mem: 102M Active, 41M Inact, 178M Wired, 764K Cache, 35M Buf, 7589M Free
Swap: 4096M Total, 4096M Free

  PID USERNAME   PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
    0 root       -68    0     0K   288K CPU3    2   3:26 46.09% kernel{em2 que}
   11 root       171 ki31     0K    64K RUN     1   5:27 45.65% idle{idle: cpu1}
   11 root       171 ki31     0K    64K CPU0    0   5:40 45.36% idle{idle: cpu0}
    0 root       -68    0     0K   288K -       1   3:30 40.09% kernel{em3 que}
   11 root       171 ki31     0K    64K RUN     3   6:05 38.09% idle{idle: cpu3}
   11 root       171 ki31     0K    64K RUN     2   5:56 33.50% idle{idle: cpu2}
    0 root       -68    0     0K   288K CPU0    0   2:21 30.27% kernel{em0 que}
    0 root       -68    0     0K   288K CPU2    1   2:44 29.98% kernel{dummynet}
    0 root       -68    0     0K   288K -       0   1:59 28.56% kernel{em1 que}





[root@r2 ~]# netstat -w1
            input        (Total)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
    155513     0     0  135843910     151416     0  133981072     0
    166998     0     0  151939840     162481     0  149613900     0
    185964     0     0  171127276     181717     0  169375913     0
    187140     0     0  171829898     182465     0  169941440     0
    177265     0     0  159104178     172802     0  157206283     0
    177414     0     0  162317040     173779     0  161465233     0
    180010     0     0  166196774     176108     0  165067689     0
    192229     0     0  173872136     187728     0  171570725     0
    182719     0     0  163471878     178375     0  161966622     0
    174762     0     0  158591009     170648     0  157293123     0
    182767     0     0  163992102     178924     0  162722694     0
    177355     0     0  159819077     172825     0  157940351     0
^C
[root@r2 ~]#

конфиг коммутатора и /etc/rc.conf  ( кусок lagg )

[root@r2 ~]# cat /etc/start_if.em2
ifconfig em2 up
ifconfig em3 up

ifconfig lagg1 create
ifconfig lagg1 up laggproto lacp laggport em2 laggport em3


на свічі -

#show link-aggregate

System ID: 0012.f2d1.3a00
Long  timeout: 120, default: 120
Short timeout: 3, default: 3
Port  [Sys P] [Port P] [  Key ] [Act][Tio][Agg][Syn][Col][Dis][Def][Exp][Ope]
14/15      1        1    10004   Yes   L   Agg  Syn  Col  Dis  No   No   Ope
14/16      1        1    10004   Yes   L   Agg  Syn  Col  Dis  No   No   Ope
14/17      1        1    10005   Yes   L   Agg  Syn  Col  Dis  No   No   Ope
14/18      1        1    10005   Yes   L   Agg  Syn  Col  Dis  No   No   Ope
#



#sh interfaces ethernet 14/15
GigabitEthernet14/15 is up, line protocol is up
  Hardware is GigabitEthernet, address is 0012.f2d1.3b46 (bia 0012.f2d1.3b46)
  Configured speed auto, actual 1Gbit, configured duplex fdx, actual fdx
  Configured mdi mode AUTO, actual MDI
  Member of 25 L2 VLANs, port is tagged, port state is FORWARDING
  BPDU guard is Disabled, ROOT protect is Disabled
  Link Error Dampening is Disabled
  STP configured to ON, priority is level0
  Flow Control is config enabled, oper enabled, negotiation disabled
  Mirror disabled, Monitor disabled
  Member of active trunk ports 14/15,14/16, primary port
  Member of configured trunk ports 14/15,14/16, primary port
  Port name is LACP1
  IPG MII 96 bits-time, IPG GMII 96 bits-time
  MTU 10240 bytes, encapsulation ethernet
  300 second input rate: 86563776 bits/sec, 9178 packets/sec, 8.79% utilization
  300 second output rate: 20485040 bits/sec, 6584 packets/sec, 2.14% utilization
  16273124469 packets input, 19631245271884 bytes, 0 no buffer
  Received 923389 broadcasts, 57639 multicasts, 16272143441 unicasts
  0 input errors, 0 CRC, 0 frame, 0 ignored
  0 runts, 0 giants
  11869268465 packets output, 4683595848973 bytes, 0 underruns
  Transmitted 16674882 broadcasts, 3654827 multicasts, 11848938756 unicasts
  0 output errors, 0 collisions
  Relay Agent Information option: Disabled
#

show etherchannel load-balance ?

нема такої команди, то комутатор FOUNDRY

метод балансировки ?

в цих свічах немає різних варіантів як у длінків, просто вказуються які порти в транку і все.

этих свичей я не знаю - больше циски .....
попробуйте
на сетевых
-rxcsum -txcsum -lro -tso
и в момент загрузки убрать шейпер

ок, буду пробувати, дякую.

Прибей dummynet к 0 ядру