Биллинговая система Nodeny

Оставлю заметку для тех кому интересна тема виртуализации и для того чтобы обобщить свой первый опыт консолидации.
Начнем с того что было
Три сервака
1 ноудени все в одном настроен по мануалу с сайта плюс  свой тюнинг сетевого стека(без него вис в глухую в течении недели) макс клиентов онлайн 200 пропускаемый трафик до 200мбит считаемый интернет трафик до  36мбит. Нагрузка до 60% проц G530
2 микротик балансировка, резервирование, приоретезация l7, латентность сети. трафик 36мбит нагрузка до 60% проц G530
3 фтп сервак под виндой 6 винтов на нем два виртуальных хаба и бекапы. Конфиг старый и горячий начал зависать, пищать, теперь известно что перегрев)
все добро вместе модемами и вайфайточками кушало 375ват расчетное время работы от упс с двумя батареями по 9 ампер. 5-10минут
 в связи с непонятным поведением фтпшника(на тот момент) ему потребоволась замена решено было взять конфиг мощнее и надежнее и попробовать консолидировать хотя бы что нибудь)

Конфиг нового сервака было решено взять все субьективно максимально надежное и тихое(чтобы когда нибудь сделать его домашним компом)
мать http://forum3.ru/cgi/shop/ishop.pl?cmd=show_tovar&code=88733#/cgi/shop/ishop.pl?cmd=show_tovar&code=96902
проц http://forum3.ru/#/cgi/shop/ishop.pl?cmd=show_tovar&code=97541
винт http://forum3.ru/#/cgi/shop/ishop.pl?cmd=show_tovar&code=97547
винты от фтпшника по два три теробайта 6 шт
бп http://forum3.ru/#/cgi/shop/ishop.pl?cmd=show_tovar&code=89149
кулер http://forum3.ru/#/cgi/shop/ishop.pl?cmd=show_tovar&code=79759
корпус Fractal Design Define R3 Titanium
пара тихих карлосонов

что пробовалось.
Начал как водится c esxi ну а что бесплатно, ограничение по озу32 гига. Но както несраслось у нее с моими сетевыми карточками) можно было доплатить 160уе чтобы потом узнать что у меня чтото не так с материнкой или контроллером жестких дисков. Но было решено попробовавший что-то еще.

Ну чтож следующий как водится xen от citix. стало все легко и просто. Но  сразу появилась проблема) Нельзя пробросить в виртуалку целый винт и более того к виртуалке нельзя подключить более 4 виртуальных винтов... гугленье ничего не дало.. кроме появления очередного кандидата proxmox

также пробовалась виртуалка от микросовт но она не стала в принцепе

остановились на proxmox 2.1 о нем подробнее:
 proxmox основан на debian виртуализация  kvm и open-vz, установился из коробки, веб интерфейс, отличный мануал на оф сайте полностью бесплатен. Можно подключить более 10 винтов(точнее патриций) драйвера virtio.
Провел тесты системы счетчиком производительности windows7 производительность оказалось сравнима с установкой на голое железо
Сразу столкнулся с проблемой не смог подключить видовые винты к виртуалке(винда не понимала что ей подсовывают) --было решено установкой фтп сервака на linux
тут появились еще странности разные витуалки в простое жрали разное процессорное время(одно ядро) debian 2-3% windows_xp 3-5%  freebsd 4% mikrotik 3% centos, ubuntu 0.2% О_о --- было решено использовать ubuntu server максимально широко
весьма удивило что когда я скопировал рабочий сервер freebsd на виртуалку в простое она кушала 20% от любого количества ядер при том что top внутри фряхи не видил нагрузку.
Также не запускалась 64 битная фряха висла после отсчет 10секунд с остальными осями проблем нет.

Запщеные виртуалки:
ubuntu server: подмонтировано 6 виртов Proftpd, samba, eiskaltdc++(почемуто медленно хеширует 50мбайт в секунду)  lxdx рабочий стол. Производительность во время хеширования кушает 60% от ядра простой вроде 5%
ubuntu server lamp wordpress 0.2% от ядра
ubuntuserver velihub 1.0 2шт по 0.4% от ядра
freebsd все в одном(тюнинг стека,сателит,колектор,mpd5,dhcp,smokeping) драйвера virtio пока не применялись, простой 20% от всех ядрер сколько не дай ему???? О_о под нагрузкой до 90% два ядра

потребление
хостовый сервак <70ват(упс не показывает меньшую нагрузку) расчетное время работы от упс на две батареи по 8.5 ампер = три часа
сервак с микротик + модемы и точки 150ват в сумме. расчетное время работы от упс на две батареи по 9ампер = полтора часа

неделя полет нормальный без тюнинга стека хостовой системы.

планируется:
установка на отдельную виртуалку zabbix вместо smokeping
установка на виртуалку микротика (придется покупать еще раз)
попробовать драйвера virtio на freebsd
и разделение сервера все в одном на билинг и сателит притом желательно сделать все на убунту(ну или както снизить непонятно откуда взявшеюся высокую нагрузку на проц, попробывать варианты сервер фряха, сервер убунту, сателит микротик, сателит фряха, сателит убунту).

Так а в чем преимущества виртуализации?

А вариант фря и все на джейлах не рассматривался? Почему хочется бубунту, а не скажем дебиан? При такой свалке первая точка отказа что я вижу - винт по iops(уже вылезло на медленном хешировании), как планируется с этим бороться при повышении нагрузки? Какой планировщик, его тюнинг или винт менять системный на ssd. Сколько и какой оперативы в решении? Не увидел организации бэкапов, без них виртуалки - хлам. Не понял смысла из зоопарка фря, бубунта, микротик, только SLES и CentOS не хватает :) ИМХО получился змей горыныч, что-то страшное и противоестественное. Про фтп под виндой я вообще промолчу пожалуй. Вынос дисихаба на отдельный вирт, вообще за гранью понимания. При любом глюке исправление превратится из автоматического действия в увлекательный квест, чтоб не только обосрать покритиковать, но и предложить свое, вот вариант:
1)Фря, на ней же разруливается все сетевое барахло (балансировка, резервирование и прочее кос, шейпер коллектор mpd, биллинг, DHCP, DNS да хоть BGP). - тупо сервак доступа, если по ресурсам останется что-то свободное в джейл пихаем лампу ну и мониторинг (если нагрузка небольшая конечно).
2) Помойка(линух или фря на выбор) - винты, фтп, самба, дися и прочая не критичная хрень. Тут же выделяем место для бэкапов с основного сервера, если на первом нагрузка большая, сюда же суем мониторинг.
Выигрыш: нахрен микротик, не зафтыкаемся по iops(ну кроме мониторинга, который особо прожорливый), имеем резервирование на случай умершего винта основной системы, не плодим кучу прослоек, которые больше актуальны хостерам.
Я понимаю, что неделя серьезный аптайм, но напомню про основное деление админов на 2 категории :)

з.ы
перегружался только чтоб с 7 ветки на 8 перейти, до этого аптайм 3 года почти

больше время жизни от батареи, меньше стоимость компьютерного парка. Меньше тепловыделение. Меньше проводов. Удобно работать.

По неизвестным мне причинам как я указал выше загрузка ядра пустой убунтой 0.1 процент а дебианом 2-3 тоесть разница более десяти раз

Хеширование происходило на 6 винтах кроме файлопомойки на них ничего нет думаю дело в eiskalt dc++ . До этого пробывал ncdc там быстрое хеширование как положено более 100мбайт но почемуто некто не мог качать фаил разбивался ни микрочасти и при передаче фешал любые dc клиенты... непонятно почему(возможно дело в 4k секторах на которые разбит диск хотя кажется маловероятным)
Превышение загрузки винта под все виртуалки было предусмотрено есть еще один раптор на котором крутился билинг ранее можно подключить его к виртуалке и поставить билинг туда.

Да я не указал бекапы ранее они сохранялись на фтп сервер теперь сохраняются на виртуальный фтп сервер тоесть на другой диск. в proxmox предусмотрен встроенный механизм бекапов. Но чтобы его вменяемо задействовать нужен + один винт.

Нет не думаю что я смогу подключить к джейлам 6 винтов и настроить все необходимые системы(зоопарк)
Забыл указать Модуль памяти DIMM DDR3 (1600) 16Gb Corsair Vengeance Low Profile Blue CML16GX3M2A1600C10 (10-10-10-27) , комплект 2 шт. по 8Gb,

Все в вашем варианте хорошо только микротик необходим уж больно там сложная схема к томуже постоянные изменения в ней. Чтобы на фряхе такое настроить да еще и под билингом нужно админом быть со звездой во лбу. Тоесть по сути вы описали то как оно было до начала процесса консолидации)

Все равно не понял, падает хост и толку от бэкапа на одной из виртуалок, какое время разворачивания системы из бэкапа при умершем главном винте хоста? Куда бэкапится сам хост? Хотя тут вопрос цены простоя наверное, у меня простой в 10 минут будет дороже еще одного сервера с резервированием по питанию, а простой в 15 окупит дополнительный кондиционер. Я вот стараюсь все службы наоборот дублировать на разных серверах, лишнее тепло - ставим мощнее кондишку либо менее прожорливый сервак в стойку, провода - не вижу проблем, если все подписано и протянуто по кабельканалам какая разница 2 провода или 200? Цветные патчкорды и цветные метки делают поиск нужного кабеля делом пары секунд.
Винты к джейлам - нет проблем, но вот зоопарка не получится, в клетке только фря может быть - это минус, зато скорость ее работы как хоста, почти нет дополнительных задержек - это плюс.
Останусь при своем, что виртуалки хороши хостерам и в качестве тестовых площадок, но для ISP как-то несерьезно. Их удобно держать там, где надо поднять и настроить туеву хучу идентичных сред причем чтоб пользователь мог сделать это сам через вебморду или ipkvm. Производительность в любом случае будет хуже чем без виртуалки. Еще зачем помойке иметь большой запас автономной работы? Вырубили свет - сразу запустили init 0, врубили свет - послали magic пакет с соседнего сервера и включили, я так понимаю распространение контента - дополнительный сервис и прямо на доход влияет мало, его простой даже пару часов в день ни на что не повлияет, а свободный запас батареи лучше отдать ядру сети.

Не вижу смысла в виртуализации вообще. Нет, смысл, конечно же есть, но для хостеров и тестов. Ну еще для экономии места (и денег) в колокейшене. Сервер - это прежде всего машина, состоящая из очень связанных между собой компонентов, выход из строя любого из них - практически на 80% прекращение работы всей машины. Если у меня по железным причинам падает один сервер - я имею настроенный запасной вариант (достаточно запустить демона). А если у вас падает набор виртуалок - тут спасет только абсолютная копия всей машины. А время простоя провайдера сейчас очень дорого (как по деньгам, так и по нервам). Поэтому у меня стойка с серверами, каждый из которых выполняет свою конкретную задачу + готов выполнить задачу соседа, если тому вдруг сплохеет. Все это обдувается обычным бытовым кондишином (ну не совсем обычным, там какая-то экономичная модель). Стойка чувствует себя сухо и комфортно (админы тоже, даже иногда на улицу греться бегают :) ), уровень шума от вентилей минимален - соседям спать даем спокойно. Потребление энергии всей стойкой подсчитать сложно, но пара 10А автоматов держит это все не напрягаясь + чайник еще очень часто включается

Я так понял, что виртуализация может иметь смысл, если в системе есть какие-то эксклюзивные фичи, например, как я слышал, балансировку каналов умело делает микротик. Кто-нить виртуализировал его на  той же тачке, что и гейт?

Можно было бы и WinSCP/SCP заюзать

А вы винты как подключаете? Винде точно плохо, когда ей винты как IDE подсовывают. Я подключаю как SCSI (для этого нужно ROM скачать)

А включена аппаратная виртуализация в настройках матеоринки в биосе?

Не слышал о таком но Вообщем на линуксе все неплохо разрешилось.
не помню как в начале побывал с виндой может ide, но сейчас если ось позволяет то загрузочный virtio если нет то ide. Пробывал подсунуть винты целиком но после разбития хостовая система их не видела и вообще я как то в таком варианте хост умудрился уронить. Пробывал virtio но он более двух терабайт не может переворить похоже. В итоге разбил разделы из под хоста и подключил их как scsi к виртуалке по uuid.
да думаю без нее kvm режим эмуляции проца не поднялся бы.

а как дела щас с виртуализацией?

Все завиртуалил кроме сателитов freebsd
причина
1 чтобы рулить большой поток трафика надо virtio драйвера
2 они есть только под freebsd am64 которая
3 она в свою очередь виснет на стадии загрузки)

Может кто поборол ?

http://pve.proxmox.com/wiki/FreeBSD_Guest_Notes У меня под proxmox полет нормальный, правда большой нагрузки нет - тестовая машина, но фря как и другие виртуалки работает ровно.

вот у меня и виснет она на стадии загрузки :(

Там нужно пробовать с разными типами HDD и виртуализации на каком-то у меня тоже висла, если совсем туго, могу собрать образ для KVM и выложить.