Название: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: serojperoj от 23 Августа 2012, 12:33:34 привет всем.
Позавчера решил перейти с обычных ПК на Dell R620 2x Xeon E5-2620 2.0Ghz 2x 8GB RDIMM, 1600 Mhz 1x Broadcom 5720 QP 1Gb Network Daughter Card поставил ESXi 5 , на нем две виртуалки с FreeBSD 7.4 поначалу все было супер, и вдруг после 10-12 часов начали ужасные глюки. пинг рос до 400млс с потерями до 50-60%. PPPoE то подключался то нет.. и то за 30-40 секунд. На каждом из сателитов 200-250мбит/с интернет трафика и 100-150мбит/с локал трафика. без НАТ-а. кто-нить сталкивался с такими проблемами? где копать куда смотреть? на ESXi ресурсы почти не жрет. заранее спасибо. Название: Re: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: Rico-X от 23 Августа 2012, 17:53:29 Смотреть в логах, как не банально звучит, проверить количество ошибок на сетевой, если мне склероз не изменяет у бродкомов были проблемы на работе с 7 веткой.
Название: Re: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: serojperoj от 25 Августа 2012, 12:51:21 поставил 9.0 почти то же самое, потерь нет но канал не поднимается больше 70мбит. откатился до 7.3 версии. потерь в сетевухах нет, до 500мбит проходит с легкостью.
вот только MPD 5.6 кажется глючит, жрет проц , WCPU для MPD поднимается 100% и система зависает. помогает только reboot из консоли. Название: Re: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: elite от 25 Августа 2012, 13:33:53 а зачем вообще на роутере виртуализация? :)
Название: Re: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: goletsa от 27 Августа 2012, 22:47:03 а зачем вообще на роутере виртуализация? :) вопрос неправильно поставлензачем роутер вообще виртуализировать если хотите много трафика пропустить. там хостом ESXi который прослойка между сетевыми и системой. Название: Re: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: Rico-X от 28 Августа 2012, 06:37:37 Могу предположить следующие ответы:
1) Потому, что виртуализация - это модно и круто 2) Сервак всего один и на нем туева хуча других сервисов и с виртуалками просто безопасней. 3) Бэкапить удобней. Другой вопрос зачем в качестве среды виртуализации выбрана та, которая не особо хорошо работает именно с сетевым стеком, почему не те же джеилы например, надеюсь топикстартер подробнее расскажет о задачах, тогда и советовать можно будет. Название: Re: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: VitalVas от 28 Августа 2012, 10:58:43 Виртуализация крута только в том случае, если это не касается сетевого трафика, а допустим веб, гейм, и другие сервисы.
Для сетлита хватит простого dump/restore. А если там меняется конфиг, то почему-же его просто не забирать на другой сервер простым скриптом? Название: Re: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: serojperoj от 28 Августа 2012, 20:13:19 Изначально сервак не был предназначен для виртуализации. Он должен был служить как NAS. Вот только драйверы сетевых карт от бродкома не подошли к Freebsd (даже 9-ой версии), а сетевые от Intel сказали что отправят через полтора месяца.
Потому и решил поставить ESXi и юзать драйвер от vmware (E1000). еще один плюс к пользу виртуализации - большой поток между хостамы(соединенные к виртуал свитчам) намного быстрее чем на свичах от д-линка и тому подобных. Тоесть хосты внутри ESXi, работают между собой быстрее чем на физическом свитче. Цитировать вопрос неправильно поставлен Вообще там есть DirectPath I/O для избежания прослойки между сетевыми и системой.зачем роутер вообще виртуализировать если хотите много трафика пропустить. там хостом ESXi который прослойка между сетевыми и системой. ну а проблему решил откатом до 7.3 версии фряхи и mpd 5.5 вместо 5.6. всем спс. Название: Re: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: Demeo от 28 Августа 2012, 20:55:56 Быстрее 1Г? 10Г?
Название: Re: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: goletsa от 29 Августа 2012, 00:32:55 Кстати да, забыл про VT-d/VT-IO
Можно же нормальные интел карты внутрь пробросить. Название: Re: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: serojperoj от 31 Августа 2012, 15:45:40 Цитировать Быстрее 1Г? 10Г? быстрее 1гб нарооооооод!!! опять тормоза(( что творится в TOP ? WCPU прыгает до 3200% mpd5 340% ipcad надоело все( Название: Re: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: Rico-X от 31 Августа 2012, 17:21:20 А если не виртуалить? Такие же результаты?
Название: Re: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: elite от 31 Августа 2012, 17:48:52 не надо роутеры виртуалить :)
Название: Re: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: Efendy от 01 Сентября 2012, 11:14:12 мне кажется ты сел между двух стульев: или 7 и 9 фря, 9 имхо пока сыровата, я везде ставлю 8-ю.
top -P что показывает? Название: Re: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: goletsa от 01 Сентября 2012, 14:42:12 Цитировать Быстрее 1Г? 10Г? быстрее 1гб нарооооооод!!! опять тормоза(( что творится в TOP ? WCPU прыгает до 3200% mpd5 340% ipcad надоело все( ну или попробуйте РЕАЛЬНЫЕ интел карты пробросить внутрь, сейчас у вас идет трансляция с брядкома средствами esxi в виртуальные интел, а это медленно Название: Re: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: elite от 01 Сентября 2012, 14:47:20 мне кажется ты сел между двух стульев: или 7 и 9 фря, 9 имхо пока сыровата, я везде ставлю 8-ю. 9ка показывает лучшую производительность Название: Re: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: serojperoj от 01 Сентября 2012, 20:51:14 top -P в нормальном полете. как начинаются лагы то мпд растет до 3000% , да и у меня процы по 8 штук, больше 800 вроде не должно подниматся
Код: last pid: 18196; load averages: 3.52, 3.66, 3.71 up 0+04:19:09 18:42:07 даже между версиями 7.3 и 7.4 фряхи большая разница(мб только на ESXi) как ставлю 7.4 и старше, как будто гдето кто-то тайком шейпит мой канал. больше 60-70мбит не поднимается. Цитировать уходите от виртуализации роутеров, это бессмыслено на больших потоках трафика В том то и дело, что доставка интеловских карт продлится до месяца, потому и юзаю виртуальные интел от ESXi.ну или попробуйте РЕАЛЬНЫЕ интел карты пробросить внутрь, сейчас у вас идет трансляция с брядкома средствами esxi в виртуальные интел, а это медленно Цитировать А если не виртуалить? Такие же результаты? до этого были P4 Core2Duo - устраивало все кроме кернел паников )) раз в 2-3 дня.Название: Re: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: goletsa от 02 Сентября 2012, 01:46:43 А вы дампы разбирали изза чего паники были? У меня паники в mpd5 случаются крайне редко(хотя одно время были частыми, но там были косяки с кольцами в маршрутизации, что приводило к панике в ядре), возможно все таки чтото не так в сети\настройках? И такие резкие росты загрузки CPU намекают что чтото не так. От того что вы смените железо или поставите еще сетевые вы проблему не решите.
Название: Re: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: serojperoj от 02 Сентября 2012, 12:16:08 топология сети звезда, ну а looзback и все такое не подпускаю к сетевухе сателита, блокирую уже на свиче. все районы разделены на асиметрик вланы, никто никого не видит , но все видят сателита.
кернел паники восновном из-за mpd5. активних клиентов 800. мб mpd5 просто не умеет держать столько? ну хоть поставлю нормальную железу и тада ясно будет от чего стоко шума)) Название: Re: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: elite от 02 Сентября 2012, 12:38:56 кернел паники восновном из-за mpd5. 800 клиентов не умеет? :) да ну :)активних клиентов 800. мб mpd5 просто не умеет держать столько? Название: Re: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: Efendy от 02 Сентября 2012, 18:09:49 кернел паники восновном из-за mpd5. 800 клиентов не умеет? :) да ну :)активних клиентов 800. мб mpd5 просто не умеет держать столько? Цитировать мпд родилось на Оптиме, в живом тесте, 333 целероны держат тысячи абонов Название: Re: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: Rico-X от 02 Сентября 2012, 19:11:25 кернел паники восновном из-за mpd5. Тогда моих нескольких сетей просто не существует. 1500-2000 абонентов онлайн - легко, больше не пробовал (уперся в производительность сетевых) и перенес на cisco 10000активних клиентов 800. мб mpd5 просто не умеет держать столько? Название: Re: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: goletsa от 02 Сентября 2012, 22:58:15 У меня mpd5 после 2000 сессий начинал сбоить и терять конекты.
До 2000 все летает. Название: Re: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: serojperoj от 03 Сентября 2012, 10:12:27 если не затруднит, не поделитесь ли привязкой версий FreeBSD+mpd ?
у меня щас CPU - 8 RAM - 4GB OS - FreeBSD 7.3 amd64 mpd - mpd5.5 без тюнингов, все по документации. uptime 8 дней , иногда тормозит по 10-15 мин но кернел паников нет. Название: Re: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: stix от 03 Сентября 2012, 10:25:17 7 ветка фри раньше меня устраивала пока не потестил 8ю.
производительность напорядок выросла 9ю еще не тестил Название: Re: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: serojperoj от 03 Сентября 2012, 10:33:47 Цитировать 7 ветка фри раньше меня устраивала пока не потестил 8ю. производительность напорядок выросла 9ю еще не тестил 8.3? ну а там что-то менять надо? так-как у меня 8.1 версия трафик тупо не пропускал више 70мбит Название: Re: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: stix от 03 Сентября 2012, 10:40:59 по-человечески обновлять не получалось, обычно на failover роутер все перестраивалось и сетапилось заново.
Название: Re: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: elite от 03 Сентября 2012, 11:52:14 8.3? ну а там что-то менять надо? так-как у меня 8.1 версия трафик тупо не пропускал више 70мбит надо обновить /dev/handsтогда все заработает :) Название: Re: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: serojperoj от 20 Сентября 2012, 11:43:03 Цитировать надо обновить /dev/hands тогда все заработает обновился до стейбл , кстати /dev/brain тоже :P но как говорится - Одна голова хорошо, а две лучше. Итак пришли мои долгожданные интеловские карты - I350-T4 Server Adapter Установил FreeBSD 8.3-Release-p4 , сетевухи подключил напрямую , без виртуальной прослойки, и без тюнингов. поставил IP к igb0 и igb2. включаю хост, норм грузится, НО! пинги не ходят, не на выход(igb0) не на вход(igb2). arp -a тоже нечего не показывает. и что интересно, когда перезагружаю комп(тупо reboot) - все начинает работать. может кто пальцем покажет куда смотреть? заранее спс Название: Re: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: Rico-X от 20 Сентября 2012, 12:56:01 В настройку конкретно этих сетевых на фре.
В sysctl добавляем Код: dev.igb.0.rx_processing_limit=4096 Код: hw.igb.rxd=4096 Ну или дайте доступ - посмотрю. Название: Re: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: Rico-X от 20 Сентября 2012, 13:28:48 + в rc.conf
ifconfig_igb0=”-rxcsum -txcsum -lro -tso up” ifconfig_igb1=”-rxcsum -txcsum -lro -tso up” Кажется еще что-то было, ща уже не вспомню. Название: Re: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: serojperoj от 20 Сентября 2012, 13:44:40 все вышесказанное кроме
Код: ifconfig_igb0=”-rxcsum -txcsum -lro -tso up” Код: ifconfig igb0 down Код: /etc/rc.d/netif restart тож не помогают, только reboot :) ща попробую сного Название: Re: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: Rico-X от 20 Сентября 2012, 15:49:52 rc.conf все что касается сети покажите
Название: Re: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: Redmen от 20 Сентября 2012, 16:36:54 поставь маску на интерфейсах не более /16 (255,255,0,0) (/8 не катит без дров)
и мту поставь 9000 Код: ifconfig_igb0="inet 10.0.0.1 netmask 255.255.0.0 mtu 9000" # (с мту нуна поигратся ибо магёт отключить все остальные сетевухи) Код: sysctl -a | grep dev.igb а есть уже новые дрова freebsd 8.x 7.1.7 (только модулем)(в ядро вшить не даёт) freebsd 9.x 7.2.4 (ваще не собирается) про интел-дрова на list.freebsd.org дискусия ведётся с вихода фри 8.0 пребета Название: Re: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: serojperoj от 20 Сентября 2012, 17:29:49 rc.conf
Код: defaultrouter="10.0.0.254" cat /etc/sysctl.conf Код: # Uncomment this to prevent users from seeing information about processes that cat /boot/loader.conf Код: #if_igb_load="YES" sysctl -a | grep dev.igb.0 Код: dev.igb.0.%desc: Intel(R) PRO/1000 Network Connection version - 2.3.1 негде нечего не трогал. даже поставил дрова от интела модулем но без разницы. Название: Re: ESXi на Dell R620 с двумя сателитами тормозит Отправлено: Rico-X от 20 Сентября 2012, 18:51:10 Тогда совет из разряда шаманства :) Часть с интерфейсами привести к виду
Код: network_interfaces="igb0 igb1 lo0" |