Биллинговая система Nodeny
21 Ноября 2024, 19:22:31 *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.
Вам не пришло письмо с кодом активации?

Войти
Новости: Прекращена поддержка версии Nodeny 49
 
   Начало   Помощь Поиск Войти Регистрация  
Страниц: [1]
  Печать  
Автор Тема: Помогите с выбором сетевой карты  (Прочитано 24163 раз)
boomer666
NoDeny
Постоялец
*

Карма: 1
Offline Offline

Сообщений: 194



Просмотр профиля Email
« : 17 Июля 2013, 13:30:25 »

Добрый день.

Помогите с советом в выборе сетевой карты ?

сейчас стоит сетевая карта intel et и пропускает через себя 700мбит, а нужно мин. 900 + можно больше)
Записан
goletsa
NoDeny
Спец
*

Карма: 21
Offline Offline

Сообщений: 973


Просмотр профиля
« Ответ #1 : 17 Июля 2013, 14:54:11 »

Чем вам ET не нравится? Надеюсь не x1 однопортовая версия? Тюнили ее?
Записан
boomer666
NoDeny
Постоялец
*

Карма: 1
Offline Offline

Сообщений: 194



Просмотр профиля Email
« Ответ #2 : 17 Июля 2013, 15:29:53 »

Чем вам ET не нравится? Надеюсь не x1 однопортовая версия? Тюнили ее?
2-x портовая . тюнил но что то эффекта не дало
Записан
goletsa
NoDeny
Спец
*

Карма: 21
Offline Offline

Сообщений: 973


Просмотр профиля
« Ответ #3 : 17 Июля 2013, 16:00:26 »

Чем вам ET не нравится? Надеюсь не x1 однопортовая версия? Тюнили ее?
2-x портовая . тюнил но что то эффекта не дало
top -SHIP покажите в момент пика загрузки
И что у вас за железо.
Плюс какой тюнинг используете, версию ос итд.
Записан
boomer666
NoDeny
Постоялец
*

Карма: 1
Offline Offline

Сообщений: 194



Просмотр профиля Email
« Ответ #4 : 17 Июля 2013, 21:34:44 »

Чем вам ET не нравится? Надеюсь не x1 однопортовая версия? Тюнили ее?
2-x портовая . тюнил но что то эффекта не дало
top -SHIP покажите в момент пика загрузки
И что у вас за железо.
Плюс какой тюнинг используете, версию ос итд.
Железо Hp dl380g6 2 CPU: Intel(R) Xeon(R) CPU           E5540  @ 2.53GHz (2533.47-MHz K8-class CPU)
FreeBSD 9.1-RELEASE
/etc/sysctl.conf
Код:
dev.igb.0.rx_processing_limit=4096
dev.igb.1.rx_processing_limit=4096
/boot/loader.conf
Код:
if_igb_load="YES"
net.graph.maxdata=65536
net.graph.maxalloc=65536
hw.igb.rxd=4096
hw.igb.txd=4096
hw.igb.max_interrupt_rate=32000
hw.igb.num_queues=1
hw.igb.enable_aim=1
hw.igb.low_latency=1000
hw.igb.ave_latency=2000
hw.igb.bulk_latency=4000
hw.igb.rx_process_limit=100
hw.igb.fc_setting=0
hw.igb.lro=0


была нагрузка 600мбит
Код:
last pid: 55109;  load averages:  4.01,  3.62,  3.60                                                up 0+13:30:47  22:20:12
171 processes: 21 running, 116 sleeping, 34 waiting
CPU 0:   3.9% user,  0.0% nice,  5.9% system,  0.4% interrupt, 89.8% idle
CPU 1:   0.8% user,  0.0% nice,  2.0% system,  0.8% interrupt, 96.5% idle
CPU 2:   3.5% user,  0.0% nice,  5.1% system,  0.0% interrupt, 91.3% idle
CPU 3:   2.4% user,  0.0% nice, 11.8% system,  0.0% interrupt, 85.8% idle
CPU 4:   0.8% user,  0.0% nice,  1.9% system,  0.0% interrupt, 97.3% idle
CPU 5:   1.6% user,  0.0% nice, 40.2% system,  0.0% interrupt, 58.3% idle
CPU 6:   3.1% user,  0.0% nice,  9.1% system,  0.0% interrupt, 87.8% idle
CPU 7:   2.0% user,  0.0% nice,  3.1% system,  0.0% interrupt, 94.9% idle
CPU 8:   0.0% user,  0.0% nice,  0.8% system, 31.5% interrupt, 67.7% idle
CPU 9:   0.0% user,  0.0% nice, 20.1% system,  1.6% interrupt, 78.3% idle
CPU 10:  0.0% user,  0.0% nice, 19.3% system,  2.0% interrupt, 78.7% idle
CPU 11:  0.0% user,  0.0% nice, 29.5% system,  0.8% interrupt, 69.7% idle
CPU 12:  0.0% user,  0.0% nice,  0.4% system, 29.1% interrupt, 70.5% idle
CPU 13:  0.0% user,  0.0% nice,  0.0% system, 19.3% interrupt, 80.7% idle
CPU 14:  0.0% user,  0.0% nice, 12.7% system,  2.3% interrupt, 84.9% idle
CPU 15:  0.0% user,  0.0% nice, 10.2% system,  3.9% interrupt, 85.8% idle
Mem: 439M Active, 85M Inact, 554M Wired, 74M Buf, 22G Free
Swap: 3498M Total, 3498M Free

  PID USERNAME PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
   11 root     155 ki31     0K   256K RUN     3 713:21 98.39% idle{idle: cpu3}
   11 root     155 ki31     0K   256K CPU6    6 713:21 96.63% idle{idle: cpu6}
   11 root     155 ki31     0K   256K CPU0    0 765:47 94.78% idle{idle: cpu0}
    0 root     -92    0     0K   192K CPU9    9 633:49 93.55% kernel{dummynet}
   11 root     155 ki31     0K   256K CPU1    1 774:12 92.77% idle{idle: cpu1}
   11 root     155 ki31     0K   256K CPU7    7 713:56 92.72% idle{idle: cpu7}
   11 root     155 ki31     0K   256K RUN     4 712:10 92.24% idle{idle: cpu4}
   11 root     155 ki31     0K   256K RUN     9 762:00 90.23% idle{idle: cpu9}
   11 root     155 ki31     0K   256K CPU2    2 711:15 89.84% idle{idle: cpu2}
   11 root     155 ki31     0K   256K CPU14  14 699:14 84.33% idle{idle: cpu14}
   11 root     155 ki31     0K   256K CPU10  10 698:44 83.69% idle{idle: cpu10}
   11 root     155 ki31     0K   256K CPU11  11 695:55 81.45% idle{idle: cpu11}
   11 root     155 ki31     0K   256K CPU13  13 663:43 81.25% idle{idle: cpu13}
   11 root     155 ki31     0K   256K CPU15  15 696:36 80.91% idle{idle: cpu15}
   11 root     155 ki31     0K   256K CPU5    5 713:29 79.30% idle{idle: cpu5}
   11 root     155 ki31     0K   256K CPU12  12 618:43 72.22% idle{idle: cpu12}
   11 root     155 ki31     0K   256K RUN     8 562:44 68.55% idle{idle: cpu8}
54943 root      90    0 32288K 14060K CPU3    3   0:38 61.28% nload
   12 root     -92    -     0K   576K CPU8   11 247:04 35.30% intr{irq257: igb0:que}
   12 root     -92    -     0K   576K CPU11  12 208:55 29.44% intr{irq261: bce0}
   12 root     -92    -     0K   576K WAIT   13 160:14 21.14% intr{irq262: bce1}
 3824 root      23  -15 88488K 76924K sbwait  7 138:20 20.41% ipcad{ipcad}
 3824 root      20  -15 88488K 76924K sbwait  1 101:47 12.94% ipcad{ipcad}
 3837 root      22    0   415M   339M select 11  36:02  4.25% perl5.12.4
 3623 root      20    0   212M 65908K select 15  19:42  1.46% mpd5{mpd5}
 3623 root      52    0   212M 65908K select  1   0:00  0.98% mpd5{mpd5}
 3623 root      20    0   212M 65908K select 13   0:00  0.93% mpd5{mpd5}
 3623 root      20    0   212M 65908K select  3   0:00  0.93% mpd5{mpd5}
 3623 root      20    0   212M 65908K select 11   0:00  0.93% mpd5{mpd5}
 3623 root      20    0   212M 65908K select  2   0:00  0.93% mpd5{mpd5}
 3623 root      20    0   212M 65908K select  7   0:00  0.93% mpd5{mpd5}
 3623 root      24    0   212M 65908K select  7   0:00  0.93% mpd5{mpd5}
 3623 root      33    0   212M 65908K select  4   0:00  0.68% mpd5{mpd5}
 3623 root      20    0   212M 65908K select 11   0:00  0.68% mpd5{mpd5}
 3623 root      20    0   212M 65908K select  4   0:00  0.63% mpd5{mpd5}
   12 root     -60    -     0K   576K WAIT    1   7:48  0.39% intr{swi4: clock}
Записан
ser970
NoDeny
Спец
*

Карма: 70
Offline Offline

Сообщений: 1323

262462619
Просмотр профиля Email
« Ответ #5 : 17 Июля 2013, 22:01:55 »

0 root     -92    0     0K   192K CPU9    9 633:49 93.55% kernel{dummynet}

прибить к 0 ядру
в ручную раскидать по ядрам


и не плохо в час пик увидеть бы тоже самое + netstat -w1  общее и по сетевым
Записан
goletsa
NoDeny
Спец
*

Карма: 21
Offline Offline

Сообщений: 973


Просмотр профиля
« Ответ #6 : 23 Июля 2013, 19:37:04 »

Цитировать
hw.igb.num_queues=1
не очень актуально на новых ос, ограничивает распаралеливание по ядрам.

На 8.4 использую пока:
Цитировать
cat /boot/loader.conf
geom_mirror_load="YES"
if_igb_load="YES"
hw.igb.rxd=4096
hw.igb.txd=4096
hw.igb.max_interrupt_rate=32000
net.route.netisr_maxqlen=4096
net.isr.defaultqlimit=4096

Код:
sysctl.conf:
net.inet.ip.dummynet.hash_size=32768
net.inet.ip.forwarding=1
net.inet.ip.fastforwarding=1
dev.igb.0.rx_processing_limit=4096
dev.igb.2.rx_processing_limit=4096
kern.ipc.nmbclusters=400000
kern.ipc.maxsockbuf=83886080
net.inet.ip.dummynet.pipe_slot_limit=1000
net.inet.ip.dummynet.io_fast=1
net.inet.ip.dummynet.pipe_slot_limit=1000
net.inet.ip.dummynet.io_fast=1
net.inet.ip.intr_queue_maxlen=10240

Плюс прибивка dummynet к 0 ядру.
Плюс прибивка прерываний igb по ядрам.
В качестве проца X3440  @ 2.53GHz, упирался в сетевые карты при загрузке в 80%.

Код:
$ top -SHIP

last pid: 61189;  load averages:  1.94,  1.68,  1.64                 up 105+00:12:07 21:34:47
131 processes: 9 running, 88 sleeping, 34 waiting
CPU 0:  1.5% user,  0.0% nice,  4.9% system, 28.6% interrupt, 65.0% idle
CPU 1:  2.6% user,  0.0% nice,  8.6% system, 23.7% interrupt, 65.0% idle
CPU 2:  3.0% user,  0.0% nice,  6.8% system, 34.6% interrupt, 55.6% idle
CPU 3:  1.5% user,  0.0% nice,  4.1% system, 42.5% interrupt, 51.9% idle
Mem: 85M Active, 172M Inact, 834M Wired, 144K Cache, 824M Buf, 6763M Free
Swap: 4096M Total, 4096M Free

  PID USERNAME PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
   11 root     171 ki31     0K    64K RUN     1 1516.5 65.48% idle{idle: cpu1}
   11 root     171 ki31     0K    64K RUN     3 1591.9 63.96% idle{idle: cpu3}
   11 root     171 ki31     0K    64K RUN     2 1555.3 62.89% idle{idle: cpu2}
   11 root     171 ki31     0K    64K RUN     0 1318.1 62.16% idle{idle: cpu0}
   12 root     -68    -     0K   608K WAIT    3 377.0H 19.48% intr{irq267: igb2:que}
   12 root     -68    -     0K   608K RUN     2 378.5H 17.97% intr{irq266: igb2:que}
   12 root     -68    -     0K   608K CPU1    1 364.3H 15.87% intr{irq257: igb0:que}
   12 root     -68    -     0K   608K WAIT    0 343.7H 15.28% intr{irq256: igb0:que}
   12 root     -68    -     0K   608K WAIT    3 359.5H 14.70% intr{irq259: igb0:que}
   12 root     -68    -     0K   608K WAIT    0 357.8H 14.06% intr{irq268: igb2:que}
   12 root     -68    -     0K   608K CPU2    2 361.0H 13.57% intr{irq258: igb0:que}
   12 root     -68    -     0K   608K WAIT    1 381.9H 13.18% intr{irq269: igb2:que}
 1450 root      44  -15 69024K 48892K nanslp  2 309.4H 10.06% perl5.12.4
 1341 root      44  -15 52444K 45548K sbwait  3 261.2H  9.47% ipcad{ipcad}
 1341 root      44  -15 52444K 45548K sbwait  2 220.5H  9.18% ipcad{ipcad}







[goletsa@nat1 ~]$ netstat -w1
            input        (Total)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
     75889     0     0   61199866      73480     0   60316533     0
     78945     0     0   64475385      77099     0   64370601     0
^C
Ща нагрузки на железке нету почти, последнее время 600мбит при 50% загрузки.
Записан
ser970
NoDeny
Спец
*

Карма: 70
Offline Offline

Сообщений: 1323

262462619
Просмотр профиля Email
« Ответ #7 : 23 Июля 2013, 21:06:12 »

Цитировать
hw.igb.num_queues=1
не очень актуально на новых ос, ограничивает распаралеливание по ядрам.
я бы так не сказал
у человека
Цитировать
FreeBSD 9.1-RELEASE
и
Цитировать
12 root     -92    -     0K   576K CPU8   11 247:04 35.30% intr{irq257: igb0:que}

Записан
goletsa
NoDeny
Спец
*

Карма: 21
Offline Offline

Сообщений: 973


Просмотр профиля
« Ответ #8 : 24 Июля 2013, 09:55:52 »

Цитировать
hw.igb.num_queues=1
не очень актуально на новых ос, ограничивает распаралеливание по ядрам.
я бы так не сказал
у человека
Цитировать
FreeBSD 9.1-RELEASE
и
Цитировать
12 root     -92    -     0K   576K CPU8   11 247:04 35.30% intr{irq257: igb0:que}
Считайте количество потоков intr(irq igb) у меня и у него. Причем у меня всего 4 ядра.
Кстати там HT чтоли включен? Слишком много потоков для 2 процессоров. Для сети он вреден.
По поводу  hw.igb.num_queues=1 - это было актуально для 7 ветки, когда драйвера igb были сырыми и распаралеливание по ядрам дико глючило.
Я выкладывал где-то на форуме твики для 7 ветки для igb драйвера. И как раз там были проблемы с загрузкой процессора в потолок на 700мбитах гдето. Зато стабильно работал.
Начиная с 8.2 разбивка по очередям стала куда лучше работать.
К 9 ветке я думаю это тоже относится, на крайняк можно до STABLE обновиться.
Записан
goletsa
NoDeny
Спец
*

Карма: 21
Offline Offline

Сообщений: 973


Просмотр профиля
« Ответ #9 : 24 Июля 2013, 10:09:02 »

Цитировать
54943 root      90    0 32288K 14060K CPU3    3   0:38 61.28% nload
Эм, надеюсь он не постоянно запущен?
Записан
ser970
NoDeny
Спец
*

Карма: 70
Offline Offline

Сообщений: 1323

262462619
Просмотр профиля Email
« Ответ #10 : 24 Июля 2013, 15:14:04 »

Цитировать
hw.igb.num_queues=1
не очень актуально на новых ос, ограничивает распаралеливание по ядрам.
я бы так не сказал
у человека
Цитировать
FreeBSD 9.1-RELEASE
и
Цитировать
12 root     -92    -     0K   576K CPU8   11 247:04 35.30% intr{irq257: igb0:que}
Считайте количество потоков intr(irq igb) у меня и у него. Причем у меня всего 4 ядра.
Кстати там HT чтоли включен? Слишком много потоков для 2 процессоров. Для сети он вреден.
По поводу  hw.igb.num_queues=1 - это было актуально для 7 ветки, когда драйвера igb были сырыми и распаралеливание по ядрам дико глючило.
Я выкладывал где-то на форуме твики для 7 ветки для igb драйвера. И как раз там были проблемы с загрузкой процессора в потолок на 700мбитах гдето. Зато стабильно работал.
Начиная с 8.2 разбивка по очередям стала куда лучше работать.
К 9 ветке я думаю это тоже относится, на крайняк можно до STABLE обновиться.


num_queues увеличили и полка пропала....  


вот пример с рабочей лошадки ( и далеко не час пик)
Код:
top -SHP
last pid: 14229;  load averages:  1.07,  1.28,  1.24                                                                                                                                                                up 40+09:20:13  00:45:25
160 processes: 13 running, 83 sleeping, 64 waiting
CPU 0:   0.0% user,  0.0% nice,  0.0% system, 11.3% interrupt, 88.7% idle
CPU 1:   0.0% user,  0.0% nice,  0.0% system, 17.9% interrupt, 82.1% idle
CPU 2:   0.0% user,  0.0% nice,  0.0% system, 12.9% interrupt, 87.1% idle
CPU 3:   0.0% user,  0.0% nice,  0.0% system, 12.8% interrupt, 87.2% idle
CPU 4:   0.0% user,  0.0% nice,  0.0% system, 14.9% interrupt, 85.1% idle
CPU 5:   0.0% user,  0.0% nice,  0.7% system, 15.6% interrupt, 83.7% idle
CPU 6:   0.0% user,  0.0% nice,  0.0% system, 13.5% interrupt, 86.5% idle
CPU 7:   0.0% user,  0.0% nice,  0.0% system, 10.6% interrupt, 89.4% idle
CPU 8:   0.0% user,  0.0% nice,  1.4% system,  0.0% interrupt, 98.6% idle
CPU 9:   0.0% user,  0.0% nice,  0.7% system,  0.0% interrupt, 99.3% idle
CPU 10:  0.0% user,  0.0% nice,  0.7% system,  0.0% interrupt, 99.3% idle
CPU 11:  0.0% user,  0.0% nice,  0.7% system,  0.0% interrupt, 99.3% idle
Mem: 15M Active, 12M Inact, 974M Wired, 28K Cache, 758M Buf, 14G Free
Swap: 4096M Total, 4096M Free

  PID USERNAME PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
   11 root     171 ki31     0K   192K CPU10  10 963.0H 100.00% idle{idle: cpu10}
   11 root     171 ki31     0K   192K CPU11  11 962.4H 100.00% idle{idle: cpu11}
   11 root     171 ki31     0K   192K CPU8    8 959.5H 100.00% idle{idle: cpu8}
   11 root     171 ki31     0K   192K CPU9    9 961.4H 98.97% idle{idle: cpu9}
   11 root     171 ki31     0K   192K CPU3    3 887.6H 91.41% idle{idle: cpu3}
   11 root     171 ki31     0K   192K RUN     0 887.9H 91.36% idle{idle: cpu0}
   11 root     171 ki31     0K   192K CPU6    6 890.7H 91.06% idle{idle: cpu6}
   11 root     171 ki31     0K   192K CPU7    7 889.5H 91.06% idle{idle: cpu7}
   11 root     171 ki31     0K   192K CPU4    4 888.6H 90.23% idle{idle: cpu4}
   11 root     171 ki31     0K   192K CPU2    2 888.6H 90.04% idle{idle: cpu2}
   11 root     171 ki31     0K   192K CPU1    1 887.5H 89.11% idle{idle: cpu1}
   11 root     171 ki31     0K   192K CPU5    5 887.8H 87.35% idle{idle: cpu5}
   12 root     -68    -     0K  1024K WAIT    4  21.3H  3.86% intr{irq278: igb2:que}
   12 root     -68    -     0K  1024K WAIT    1  22.5H  3.81% intr{irq257: igb0:que}
   12 root     -68    -     0K  1024K WAIT    5  22.7H  3.76% intr{irq261: igb0:que}
   12 root     -68    -     0K  1024K WAIT    5  20.9H  3.71% intr{irq270: igb1:que}
   12 root     -68    -     0K  1024K WAIT    6  21.0H  3.66% intr{irq280: igb2:que}
   12 root     -68    -     0K  1024K WAIT    5  19.0H  3.32% intr{irq279: igb2:que}
   12 root     -68    -     0K  1024K WAIT    2  19.8H  3.12% intr{irq258: igb0:que}
   12 root     -68    -     0K  1024K WAIT    7  22.2H  3.08% intr{irq263: igb0:que}
   12 root     -68    -     0K  1024K WAIT    3  20.9H  3.03% intr{irq268: igb1:que}
   12 root     -68    -     0K  1024K WAIT    4  19.7H  3.03% intr{irq287: igb3:que}
   12 root     -68    -     0K  1024K WAIT    1  20.8H  2.98% intr{irq266: igb1:que}
   12 root     -68    -     0K  1024K WAIT    1  17.5H  2.93% intr{irq284: igb3:que}
   12 root     -68    -     0K  1024K WAIT    2  17.4H  2.88% intr{irq267: igb1:que}
   12 root     -68    -     0K  1024K WAIT    2  21.1H  2.83% intr{irq276: igb2:que}
   12 root     -68    -     0K  1024K WAIT    2  19.5H  2.64% intr{irq285: igb3:que}
   12 root     -68    -     0K  1024K WAIT    3  22.6H  2.59% intr{irq259: igb0:que}
   12 root     -68    -     0K  1024K WAIT    0  21.3H  2.59% intr{irq274: igb2:que}
   12 root     -68    -     0K  1024K WAIT    7  20.5H  2.59% intr{irq272: igb1:que}
   12 root     -68    -     0K  1024K WAIT    6  17.4H  2.54% intr{irq271: igb1:que}
   12 root     -68    -     0K  1024K WAIT    3  18.9H  2.49% intr{irq277: igb2:que}
   12 root     -68    -     0K  1024K WAIT    0  19.5H  2.44% intr{irq283: igb3:que}
   12 root     -68    -     0K  1024K WAIT    4  17.6H  2.44% intr{irq269: igb1:que}
   12 root     -68    -     0K  1024K WAIT    6  19.3H  2.34% intr{irq289: igb3:que}
   12 root     -68    -     0K  1024K WAIT    0  17.5H  2.34% intr{irq265: igb1:que}
   12 root     -68    -     0K  1024K WAIT    7  18.8H  2.29% intr{irq281: igb2:que}
   12 root     -68    -     0K  1024K WAIT    1  18.7H  2.29% intr{irq275: igb2:que}
   12 root     -24    -     0K  1024K WAIT    0   0:00  2.29% intr{swi6: task queue}
   12 root     -68    -     0K  1024K WAIT    0  19.7H  2.25% intr{irq256: igb0:que}
   12 root     -68    -     0K  1024K WAIT    5  17.6H  2.20% intr{irq288: igb3:que}
   12 root     -68    -     0K  1024K WAIT    6  19.6H  2.15% intr{irq262: igb0:que}

systat -ifstat
                    /0   /1   /2   /3   /4   /5   /6   /7   /8   /9   /10
     Load Average   ||||||||||||

      Interface           Traffic               Peak                Total
          lagg1  in     22.878 MB/s         22.878 MB/s           46.051 TB
                 out   107.213 MB/s        121.408 MB/s          231.225 TB

          lagg0  in    106.720 MB/s        120.927 MB/s          230.103 TB
                 out    21.984 MB/s         21.984 MB/s           44.021 TB

            lo0  in      0.000 KB/s          0.000 KB/s          370.630 KB
                 out     0.000 KB/s          0.000 KB/s          370.630 KB

           igb3  in     11.640 MB/s         11.640 MB/s           23.063 TB
                 out    51.981 MB/s         61.719 MB/s          115.328 TB

           igb2  in     54.394 MB/s         61.646 MB/s          114.833 TB
                 out    10.296 MB/s         10.296 MB/s           21.954 TB

           igb1  in     11.233 MB/s         11.233 MB/s           22.982 TB
                 out    55.167 MB/s         59.672 MB/s          115.847 TB

           igb0  in     52.306 MB/s         59.257 MB/s          115.232 TB
                 out    11.689 MB/s         11.689 MB/s           22.067 TB


Записан
goletsa
NoDeny
Спец
*

Карма: 21
Offline Offline

Сообщений: 973


Просмотр профиля
« Ответ #11 : 24 Июля 2013, 17:27:13 »

num_queues увеличили и полка пропала....  


вот пример с рабочей лошадки ( и далеко не час пик)
Код:
top -SHP
last pid: 14229;  load averages:  1.07,  1.28,  1.24                                                                                                                                                                up 40+09:20:13  00:45:25
160 processes: 13 running, 83 sleeping, 64 waiting
CPU 0:   0.0% user,  0.0% nice,  0.0% system, 11.3% interrupt, 88.7% idle
CPU 1:   0.0% user,  0.0% nice,  0.0% system, 17.9% interrupt, 82.1% idle
CPU 2:   0.0% user,  0.0% nice,  0.0% system, 12.9% interrupt, 87.1% idle
CPU 3:   0.0% user,  0.0% nice,  0.0% system, 12.8% interrupt, 87.2% idle
CPU 4:   0.0% user,  0.0% nice,  0.0% system, 14.9% interrupt, 85.1% idle
CPU 5:   0.0% user,  0.0% nice,  0.7% system, 15.6% interrupt, 83.7% idle
CPU 6:   0.0% user,  0.0% nice,  0.0% system, 13.5% interrupt, 86.5% idle
CPU 7:   0.0% user,  0.0% nice,  0.0% system, 10.6% interrupt, 89.4% idle
CPU 8:   0.0% user,  0.0% nice,  1.4% system,  0.0% interrupt, 98.6% idle
CPU 9:   0.0% user,  0.0% nice,  0.7% system,  0.0% interrupt, 99.3% idle
CPU 10:  0.0% user,  0.0% nice,  0.7% system,  0.0% interrupt, 99.3% idle
CPU 11:  0.0% user,  0.0% nice,  0.7% system,  0.0% interrupt, 99.3% idle
Mem: 15M Active, 12M Inact, 974M Wired, 28K Cache, 758M Buf, 14G Free
Swap: 4096M Total, 4096M Free

  PID USERNAME PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
   11 root     171 ki31     0K   192K CPU10  10 963.0H 100.00% idle{idle: cpu10}
   11 root     171 ki31     0K   192K CPU11  11 962.4H 100.00% idle{idle: cpu11}
   11 root     171 ki31     0K   192K CPU8    8 959.5H 100.00% idle{idle: cpu8}
   11 root     171 ki31     0K   192K CPU9    9 961.4H 98.97% idle{idle: cpu9}
   11 root     171 ki31     0K   192K CPU3    3 887.6H 91.41% idle{idle: cpu3}
   11 root     171 ki31     0K   192K RUN     0 887.9H 91.36% idle{idle: cpu0}
   11 root     171 ki31     0K   192K CPU6    6 890.7H 91.06% idle{idle: cpu6}
   11 root     171 ki31     0K   192K CPU7    7 889.5H 91.06% idle{idle: cpu7}
   11 root     171 ki31     0K   192K CPU4    4 888.6H 90.23% idle{idle: cpu4}
   11 root     171 ki31     0K   192K CPU2    2 888.6H 90.04% idle{idle: cpu2}
   11 root     171 ki31     0K   192K CPU1    1 887.5H 89.11% idle{idle: cpu1}
   11 root     171 ki31     0K   192K CPU5    5 887.8H 87.35% idle{idle: cpu5}
   12 root     -68    -     0K  1024K WAIT    4  21.3H  3.86% intr{irq278: igb2:que}
   12 root     -68    -     0K  1024K WAIT    1  22.5H  3.81% intr{irq257: igb0:que}
   12 root     -68    -     0K  1024K WAIT    5  22.7H  3.76% intr{irq261: igb0:que}
   12 root     -68    -     0K  1024K WAIT    5  20.9H  3.71% intr{irq270: igb1:que}
   12 root     -68    -     0K  1024K WAIT    6  21.0H  3.66% intr{irq280: igb2:que}
   12 root     -68    -     0K  1024K WAIT    5  19.0H  3.32% intr{irq279: igb2:que}
   12 root     -68    -     0K  1024K WAIT    2  19.8H  3.12% intr{irq258: igb0:que}
   12 root     -68    -     0K  1024K WAIT    7  22.2H  3.08% intr{irq263: igb0:que}
   12 root     -68    -     0K  1024K WAIT    3  20.9H  3.03% intr{irq268: igb1:que}
   12 root     -68    -     0K  1024K WAIT    4  19.7H  3.03% intr{irq287: igb3:que}
   12 root     -68    -     0K  1024K WAIT    1  20.8H  2.98% intr{irq266: igb1:que}
   12 root     -68    -     0K  1024K WAIT    1  17.5H  2.93% intr{irq284: igb3:que}
   12 root     -68    -     0K  1024K WAIT    2  17.4H  2.88% intr{irq267: igb1:que}
   12 root     -68    -     0K  1024K WAIT    2  21.1H  2.83% intr{irq276: igb2:que}
   12 root     -68    -     0K  1024K WAIT    2  19.5H  2.64% intr{irq285: igb3:que}
   12 root     -68    -     0K  1024K WAIT    3  22.6H  2.59% intr{irq259: igb0:que}
   12 root     -68    -     0K  1024K WAIT    0  21.3H  2.59% intr{irq274: igb2:que}
   12 root     -68    -     0K  1024K WAIT    7  20.5H  2.59% intr{irq272: igb1:que}
   12 root     -68    -     0K  1024K WAIT    6  17.4H  2.54% intr{irq271: igb1:que}
   12 root     -68    -     0K  1024K WAIT    3  18.9H  2.49% intr{irq277: igb2:que}
   12 root     -68    -     0K  1024K WAIT    0  19.5H  2.44% intr{irq283: igb3:que}
   12 root     -68    -     0K  1024K WAIT    4  17.6H  2.44% intr{irq269: igb1:que}
   12 root     -68    -     0K  1024K WAIT    6  19.3H  2.34% intr{irq289: igb3:que}
   12 root     -68    -     0K  1024K WAIT    0  17.5H  2.34% intr{irq265: igb1:que}
   12 root     -68    -     0K  1024K WAIT    7  18.8H  2.29% intr{irq281: igb2:que}
   12 root     -68    -     0K  1024K WAIT    1  18.7H  2.29% intr{irq275: igb2:que}
   12 root     -24    -     0K  1024K WAIT    0   0:00  2.29% intr{swi6: task queue}
   12 root     -68    -     0K  1024K WAIT    0  19.7H  2.25% intr{irq256: igb0:que}
   12 root     -68    -     0K  1024K WAIT    5  17.6H  2.20% intr{irq288: igb3:que}
   12 root     -68    -     0K  1024K WAIT    6  19.6H  2.15% intr{irq262: igb0:que}

systat -ifstat
                    /0   /1   /2   /3   /4   /5   /6   /7   /8   /9   /10
     Load Average   ||||||||||||

      Interface           Traffic               Peak                Total
          lagg1  in     22.878 MB/s         22.878 MB/s           46.051 TB
                 out   107.213 MB/s        121.408 MB/s          231.225 TB

          lagg0  in    106.720 MB/s        120.927 MB/s          230.103 TB
                 out    21.984 MB/s         21.984 MB/s           44.021 TB

            lo0  in      0.000 KB/s          0.000 KB/s          370.630 KB
                 out     0.000 KB/s          0.000 KB/s          370.630 KB

           igb3  in     11.640 MB/s         11.640 MB/s           23.063 TB
                 out    51.981 MB/s         61.719 MB/s          115.328 TB

           igb2  in     54.394 MB/s         61.646 MB/s          114.833 TB
                 out    10.296 MB/s         10.296 MB/s           21.954 TB

           igb1  in     11.233 MB/s         11.233 MB/s           22.982 TB
                 out    55.167 MB/s         59.672 MB/s          115.847 TB

           igb0  in     52.306 MB/s         59.257 MB/s          115.232 TB
                 out    11.689 MB/s         11.689 MB/s           22.067 TB


Суть в том что оно по умолчанию создает количество прерываний по количеству ядер.
Если искуственно переменной ставить меньше то будет плохо на многоядерных системах.
Значение в 1 вообще сводит карту к PT серии где всего 1 очередь.
Плюс есть тонкость что ядра могут быть полноценными или HT, второй вариант не очень.
Для 4 ядер создается по 4 прерывания на карту.
Для 8 было бы 8 и нагрузка бы по всем ядрам распределялась.
У вас вижу тоже 16, HT используете?
Записан
goletsa
NoDeny
Спец
*

Карма: 21
Offline Offline

Сообщений: 973


Просмотр профиля
« Ответ #12 : 24 Июля 2013, 17:30:31 »

HT - Hyper Threading
Записан
ser970
NoDeny
Спец
*

Карма: 70
Offline Offline

Сообщений: 1323

262462619
Просмотр профиля Email
« Ответ #13 : 24 Июля 2013, 18:14:53 »

тут да
Записан
Страниц: [1]
  Печать  
 
Перейти в:  

Powered by MySQL Powered by PHP Powered by SMF 1.1.20 | SMF © 2006-2009, Simple Machines Valid XHTML 1.0! Valid CSS!