Биллинговая система Nodeny

Главная категория => Железо для нодени => Тема начата: Elisium от 15 Ноября 2010, 20:35:21



Название: Проблема: CARP over LAGG - балансировка шейперов
Отправлено: Elisium от 15 Ноября 2010, 20:35:21
Доброго дня всем.
Есть задача: построить отказоустойчивое решение на писюках с автоматическим резервированием.
На серваках крутится шейпер(дамминет) + нетфлов + НАТ (пф).
Файловер сделал с помощью CARP + pfsync. Доступ - ИпоЕ.

Вкратце, все это сделано, но с одной поправкой.
Серваки достаточно мощные, что бы в такой софтовой набивки протянуть без потерь макс 1300/700 (ин/оут) трафа, 270к нат сессий и 370кппс. Ось - Фря 7.3 STABLE.

Тоесть, чтобы прогнать через ифейс больше гига трафа, я обычно собираю их в lagg с LACP.
Также сделал и на этот раз. Собрал линки в лагг, прицепил карп и получил облом (((

Гугление выдает два варианта:
1. карп поверх лагг - да, работает (фря 7.2), но в связке лагг - влан - карп.
2. карп поверх лагг работает, но лагг только в режиме файловер (( (это мне не подходит)

1й вариант самый подходящий, но - у меня (на 7.3) не заработал (((

В связи с этим вопрос:
Делал ли кто нибуть РАБОЧИЙ вариант CARP поверх LAGG ??
Интересуют рабочие примеры (ось + часть конфига).


п.с. Да, я понимаю, этот вариант на редкость извратный.
Чем привлек CARP+pfsync  - НЕ разрываются соединения в момент отключения любого из серваков (проверено)
Если есть более работающие/менее извратные варианты - с радостью послушаю.

п.п.с. Докупить внешних ипов ПОКА не предлагать.

На текущий момент в данной реализации любой из серваков (шейперы) имеет только ДВА гиговых сетевых ифейса, так как с lagg пока заставить работать не удалось. Соответственно, больше (имхо) 900 МБт трафа на каждом не пролетит ((


Название: Re: Проблема: CARP over LAGG - балансировка шейперов
Отправлено: elite от 15 Ноября 2010, 23:45:10
а ospf уже отменили? зачем же такие извраты с carp?


Название: Re: Проблема: CARP over LAGG - балансировка шейперов
Отправлено: Elisium от 16 Ноября 2010, 01:27:05
Ну, про оспф вспомнилось, когда этот вариант был почти готов.
Ктож знал, что карп в бондинге НЕ (?) работает.
Во вторых - решение с карпом да, изврат, но красиво же ))
Да и ломать готовой както не сильно хочется (

п.с. Если кто бросит кусочком конфига ОСПФ связки БГП--Шейпер/НАТ--(циска например), буду вельми вдячный )))


Название: Re: Проблема: CARP over LAGG - балансировка шейперов
Отправлено: VitalVas от 17 Ноября 2010, 09:14:19
з.ы.  фря -циска-микротик

Код:
fib-update yes
redistribute connected
rfc1583compat yes
router-id ір
area 0.0.0.1 {
    interface em0 {
        hello-interval 10
        retransmit-interval 5
        transmit-delay 1
        router-dead-time 20
        router-priority 10
        metric 10
        auth-type crypt
        auth-md 3 "пароль"
        auth-md-keyid 3
    }
}
з.ы.ы лтуше бы мани почитал


Название: Re: Проблема: CARP over LAGG - балансировка шейперов
Отправлено: stix от 17 Ноября 2010, 09:49:06
сделай тогда уже еще routing ospf export


Название: Re: Проблема: CARP over LAGG - балансировка шейперов
Отправлено: Elisium от 19 Ноября 2010, 03:21:41
з.ы.  фря -циска-микротик
з.ы.ы лтуше бы мани почитал

Скорее всего, я неверно описал задачу.
Временно вопрос решил выносом НАТа на отдельную машинку (получилась такая вот колбаса) и шейпер нехило так разгрузился.
Я даже не предполагал, что НАТ такую нагрузку дает. Все время думал: "Ааа .. оно там фигню ест ..."
п.с. У нас натится больше 2 ГБт суммарно.
п.п.с. Ах да. У нас чистый ИпоЕ. Никаких терминаторов ЧЕГОТО, откуда по оспф скидываются все усерские маршруты на бгп/нат у нас нет.

Так вот по теме:
С карпом вопрос пока закрыли. Хоть и довольно интересная на мой взгляд весчь, но работа только на физ. ифейсе меня не устраивает.
Хотя там можно сделать АВТОрезервирование кучи серваков БЕЗ перерыва в работе. Можно даже не заметить, что какойто сервак упал.

Что хочу:
Есть усеры. Многа штукк. Для всех них (ну, приближенно) конечной точкой перед шейперами есть циска.
В циску воткнуто ДВА шейпера одними ифейсами. ВТОРЫМИ они воткнуты в БГП.
На данный момент циска заруливает дефолтом траф на ОДИН шейпер/НАТ, он оттуда рулит его на БГП ну и потом в инет, на какойнить юзерский порносайт.
Для того, что бы задействовать второй шлюз, буду поднимать на циске PBR, на БГП заруливать часть наших внешних ипов для ната на соответствующий шлюз.
В ТЕОРИИ все это сделанное руками должно работать без проблем. Это в теории.
На практике, если какойнить из шлюзов помрет (к слову, именно  У НАС это, почему то НЕ РЕДКОСТЬ :(. Уже два на ремонт отправляли), то нужно както все это хозяйство завернуть на последний живой сервак.
Так вот: со стороны ифейсов от шейперов к циске я вижу это только костылем, который будет пинговать оба шлюза и при неответе какогонить менять роут-мапы на циске.
А вот со стороны шейперы - БГП хотелось бы сделать автоматом.
Чтото типа: каждый шейпер/нат анонсит СВОЮ подсеть на БГП, БГП отдает на КАЖДЫЙ шейпер ВСЕ подсети, но с РАЗНЫМИ метриками.
Смысл в чем: как это сделать на BGP протоколе, я в курсе, но там сходимость секунд 10-20.

Вот поэтому вопрос - можно ли такое сделать на OSPF или я вообще не в теме ?
Или все вышенаписанное редкий бред и можно сделать куда проще ?



Название: Re: Проблема: CARP over LAGG - балансировка шейперов
Отправлено: blackjack от 19 Ноября 2010, 07:09:16
у нас все вланы приходят в циску, потом PBR на 3 натошейпера, потом бордер. С бордера назад тоже статические маршруты. Вся эта трахомудия работает уже полгода, падал один раз один из натошейперов. Больше нестандартных ситуаций небыло. Сейчас пробуем давать юзерам белые ипы и отказываемся от ната. Чувствую останется 1 или два шейпера и все.


Название: Re: Проблема: CARP over LAGG - балансировка шейперов
Отправлено: Elisium от 19 Ноября 2010, 13:06:27
падал один раз один из натошейперов

Переключали руками или скрипт автоматом ?


Название: Re: Проблема: CARP over LAGG - балансировка шейперов
Отправлено: blackjack от 19 Ноября 2010, 14:26:40
ручками, вечером в 10 часов, издому зашол маршруты и пбр поменял за 5 минут и все.


Название: Re: Проблема: CARP over LAGG - балансировка шейперов
Отправлено: Elisium от 19 Ноября 2010, 22:07:26
ручками, вечером в 10 часов, издому зашол маршруты и пбр поменял за 5 минут и все.

Эмм .. а все это время юзеры, завернутые на этот шейпер, сидели без инета ? )
Или пришла смска и простой ВСЕГО 5 минут был ?

Ах да, и еще вопрос. А внешние Ипы выдаются как ?
Бинат ? мпд ?
Если бинат, то на каждом шейпере свой пул внешних ипов выдается ?