ESXi на Dell R620 с двумя сателитами тормозит

[elite]

мне кажется ты сел между двух стульев: или 7 и 9 фря, 9 имхо пока сыровата, я везде ставлю 8-ю.

9ка показывает лучшую производительность

[serojperoj]

top -P в нормальном полете. как начинаются лагы то мпд растет до 3000% , да и у меня процы по 8 штук, больше 800 вроде не должно подниматся

Код:

last pid: 18196;  load averages:  3.52,  3.66,  3.71                                                                                 up 0+04:19:09  18:42:07
158 processes: 2 running, 156 sleeping
CPU 0:  2.6% user,  0.0% nice, 41.9% system,  0.0% interrupt, 55.4% idle
CPU 1:  0.0% user,  0.0% nice, 81.0% system,  0.0% interrupt, 19.0% idle
CPU 2:  3.7% user,  0.0% nice, 21.6% system,  1.9% interrupt, 72.8% idle
CPU 3:  0.0% user,  0.0% nice, 85.4% system,  0.0% interrupt, 14.6% idle
CPU 4:  4.1% user,  0.0% nice, 49.6% system,  0.4% interrupt, 45.9% idle
CPU 5:  0.7% user,  0.0% nice, 67.5% system,  0.0% interrupt, 31.7% idle
CPU 6:  0.0% user,  0.0% nice,  1.5% system,  1.9% interrupt, 96.6% idle
CPU 7:  0.0% user,  0.0% nice, 72.0% system,  0.0% interrupt, 28.0% idle
Mem: 85M Active, 31M Inact, 154M Wired, 328K Cache, 18M Buf, 3661M Free
Swap: 4095M Total, 4095M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
  809 root        5   4  -15 29616K 22064K sbwait  5 169:12 188.13% ipcad
  729 root       16  47    0 70276K 23784K select  2   0:00 49.37% mpd5
 2128 root        1   8  -15 30572K 13656K nanslp  2  10:34  2.59% perl5.10.1
 1977 root        1   8    0 23364K  7652K nanslp  2   6:34  1.86% perl5.10.1
  671 root        1  44    0  5728K  1428K select  6   0:16  0.00% syslogd
  905 root        1  44    0   102M 11872K select  0   0:05  0.00% httpd
  568 root        1  72    0  2180K   648K select  2   0:02  0.00% devd
 1958 root        1  44    0 10736K  3828K select  1   0:00  0.00% sendmail
17892 root        1  44    0  8152K  2648K CPU0    1   0:00  0.00% top
 4253 root        1   5    0  9120K  2696K ttyin   4   0:00  0.00% csh
 1968 root        1   8    0  6784K  1492K nanslp  7   0:00  0.00% cron
11905 www         1  44    0   102M 12552K select  4   0:00  0.00% httpd
  917 root        1  44    0 22952K  3956K select  2   0:00  0.00% sshd
 8862 www         1  44    0   102M 12512K select  6   0:00  0.00% httpd
17873 root        1   4    0 33808K  4552K sbwait  4   0:00  0.00% sshd
11909 www         1  20    0   102M 12496K lockf   3   0:00  0.00% httpd
17155 www         1  44    0   102M 12488K select  2   0:00  0.00% httpd
97692 www         1  44    0   102M 12472K select  1   0:00  0.00% httpd
14734 www         1  44    0   102M 12516K select  6   0:00  0.00% httpd
 9983 www         1  44    0   102M 12528K select  6   0:00  0.00% httpd
12287 www         1  44    0   102M 12472K select  2   0:00  0.00% httpd
13054 www         1  44    0   102M 12528K select  4   0:00  0.00% httpd

даже между версиями 7.3 и 7.4 фряхи большая разница(мб только на ESXi) как ставлю 7.4 и старше, как будто гдето кто-то тайком шейпит мой канал. больше 60-70мбит не поднимается.

уходите от виртуализации роутеров, это бессмыслено на больших потоках трафика
ну или попробуйте РЕАЛЬНЫЕ интел карты пробросить внутрь, сейчас у вас идет трансляция с брядкома средствами esxi в виртуальные интел, а это медленно

В том то и дело, что доставка интеловских карт продлится до месяца, потому и юзаю виртуальные интел от ESXi.

А если не виртуалить? Такие же результаты?

до этого были P4 Core2Duo - устраивало все кроме кернел паников )) раз в 2-3 дня.

[goletsa]

А вы дампы разбирали изза чего паники были? У меня паники в mpd5 случаются крайне редко(хотя одно время были частыми, но там были косяки с кольцами в маршрутизации, что приводило к панике в ядре), возможно все таки чтото не так в сети\настройках? И такие резкие  росты загрузки CPU намекают что чтото не так. От того что вы смените железо или поставите еще сетевые вы проблему не решите.

[serojperoj]

топология сети звезда, ну а looзback и все такое не подпускаю к сетевухе сателита, блокирую уже на свиче. все районы разделены на асиметрик вланы, никто никого не видит , но все видят сателита.

кернел паники восновном из-за mpd5.
активних клиентов 800. мб mpd5 просто не умеет держать столько?
ну хоть поставлю нормальную железу и тада ясно будет от чего стоко шума))

[elite]

кернел паники восновном из-за mpd5.
активних клиентов 800. мб mpd5 просто не умеет держать столько?

800 клиентов не умеет? да ну

[Efendy]

кернел паники восновном из-за mpd5.
активних клиентов 800. мб mpd5 просто не умеет держать столько?

800 клиентов не умеет? да ну

кроме того, что в Днепре сосредоточены биллингописатели, так тут еще живет и разработчик mpd   Цитирую одного из админов:

мпд родилось на Оптиме, в живом тесте, 333 целероны держат тысячи абонов

[Rico-X]

кернел паники восновном из-за mpd5.
активних клиентов 800. мб mpd5 просто не умеет держать столько?

Тогда моих нескольких сетей просто не существует. 1500-2000 абонентов онлайн - легко, больше не пробовал (уперся в производительность сетевых) и перенес на cisco 10000

[goletsa]

У меня mpd5 после 2000 сессий начинал сбоить и терять конекты.
До 2000 все летает.

[serojperoj]

если не затруднит, не поделитесь ли привязкой версий FreeBSD+mpd ?

у меня щас
CPU - 8
RAM - 4GB
OS - FreeBSD 7.3 amd64
mpd - mpd5.5

без тюнингов, все по документации.
uptime 8 дней , иногда тормозит по 10-15 мин но кернел паников нет.

[stix]

7 ветка фри раньше меня устраивала пока не потестил 8ю.
производительность напорядок выросла
9ю еще не тестил

[serojperoj]

7 ветка фри раньше меня устраивала пока не потестил 8ю.
производительность напорядок выросла
9ю еще не тестил

8.3? ну а там что-то менять надо? так-как у меня 8.1 версия трафик тупо не пропускал више 70мбит 

[stix]

по-человечески обновлять не получалось, обычно на failover роутер все перестраивалось и сетапилось заново.

[elite]

8.3? ну а там что-то менять надо? так-как у меня 8.1 версия трафик тупо не пропускал више 70мбит 

надо обновить /dev/hands
тогда все заработает

[serojperoj]

надо обновить /dev/hands
тогда все заработает

обновился до стейбл , кстати /dev/brain тоже

но как говорится - Одна голова хорошо, а две лучше.

Итак пришли мои долгожданные интеловские карты - I350-T4 Server Adapter

Установил FreeBSD 8.3-Release-p4 , сетевухи подключил напрямую , без виртуальной прослойки, и без тюнингов. поставил IP к igb0 и igb2.

включаю хост, норм грузится, НО! пинги не ходят, не на выход(igb0) не на вход(igb2). arp -a тоже нечего не показывает.
и что интересно, когда перезагружаю комп(тупо reboot) - все начинает работать.

может кто пальцем покажет куда смотреть?

заранее спс

[Rico-X]

В настройку конкретно этих сетевых на фре.
В sysctl добавляем

Код:

dev.igb.0.rx_processing_limit=4096
dev.igb.1.rx_processing_limit=4096

В /boot/loader.conf

Код:

hw.igb.rxd=4096
hw.igb.txd=4096
hw.igb.max_interrupt_rate=32000

Пробуем.

Ну или дайте доступ - посмотрю.