Биллинговая система Nodeny

Главная категория => Железо для нодени => Тема начата: goletsa от 21 Марта 2010, 15:37:39



Название: Intel PRO/1000 ET - странности работы.
Отправлено: goletsa от 21 Марта 2010, 15:37:39
Собрал тут сервер с новой карточкой но работа какаято нестабильная.
irq сьедает полностью одно ядро, у юзеров проблемы с обрезкой скорости (режет на уровне 400-500kbit\s).
Конфиг типичный - Intel 3210/ Q9650 /2Gb ram.
Рядом сервер в той же конфигурации с PT картой прожевывает до 400 мбит.

FreeBSD7.2/i386
Конфиги ядра одинаковы, настройки тоже.

Есть у когото опыт работы с этими картами? Судя по отзывам софт для них еще сыроват.


Название: Re: Intel PRO/1000 ET - странности работы.
Отправлено: Lexx от 21 Марта 2010, 20:46:13
Взять последние драйверы с intel сайта для этих сетевых.
Скомпилировать и поставить - дело 5 минут.
Потом смотрим на top -SP изменения


Название: Re: Intel PRO/1000 ET - странности работы.
Отправлено: blackjack от 17 Апреля 2010, 17:54:12
обновитися до 8.0 стейбл


Название: Re: Intel PRO/1000 ET - странности работы.
Отправлено: goletsa от 17 Апреля 2010, 18:40:31
обновитися до 8.0 стейбл
А что мне это даст? Поломанные ipfw\netgraph? Там постоянно чтото ломают.
Уж лучше пока на семерке посидеть пока не допилят восьмерку.


Название: Re: Intel PRO/1000 ET - странности работы.
Отправлено: Lexx от 18 Апреля 2010, 11:49:02
Есть работающая схема на FreeBSD 8.0R + Intel ET
Дрова 1.8.4 не пошли, пропускает трафик на мелкой скорости и все...
Стандартно стоят 1.7.3, поставили 1.7.4 - неделя - все хорошо.
(кстати, различие там небольшое, но интересное)
Используется для NAT+Shaper.
Но, конечно, после семерки както странно выглядит все...
Надо еще прилично ждать, пока доделают все недостатки.

И еще, пришлось FLOWTABLE вырубить в ядре, причем собрать без него.
Иначе плохо при большом количестве раутов.

Вывод: пользовать можно, но быть готовым к проблемам, которые надо решать..
Насчет NETGRAPH, не в курсе, на 8 не использовался еще.


Название: Re: Intel PRO/1000 ET - странности работы.
Отправлено: goletsa от 18 Апреля 2010, 13:36:37
На nag'е был топик о некоректной работе mpd5 на 8ке
А он как раз активно использует нетграф.


Название: Re: Intel PRO/1000 ET - странности работы.
Отправлено: blackjack от 18 Апреля 2010, 17:25:03
ось як у нас працює ЕТ, на 8.0-RELEASE-p2. Драйвер із коробки.
Код:
CPU: Intel(R) Core(TM)2 Quad CPU    Q9505  @ 2.83GHz (2833.03-MHz K8-class CPU)
4 гіга оперативки



Название: Re: Intel PRO/1000 ET - странности работы.
Отправлено: goletsa от 18 Апреля 2010, 19:04:40
Что-то у вас трафик какой-то ровный и ошибки в большом количестве.
Такой же проц почти, памяти 2 гига. FreeBSD 7.2


Название: Re: Intel PRO/1000 ET - странности работы.
Отправлено: blackjack от 18 Апреля 2010, 19:29:54
У мене nat і шейпер, 2000 юзерів. У вас?


Название: Re: Intel PRO/1000 ET - странности работы.
Отправлено: blackjack от 18 Апреля 2010, 19:33:52
рівний, кривий неважно(частково), тенденції на графіках по трафіку у нас однакові.


Название: Re: Intel PRO/1000 ET - странности работы.
Отправлено: goletsa от 18 Апреля 2010, 20:14:27
Цитировать
У мене nat і шейпер, 2000 юзерів. У вас?
Аналогично, юзеров активных порядка 1000.

рівний, кривий неважно(частково), тенденції на графіках по трафіку у нас однакові.
Не сказал бы что одинаковы, разница в трафике в два раза. У меня ошибки начинаются только после 360мбит.
А по kpps у вас сколько?

В общем мне ET не очень понравилась, думаю буду снимать. НА PT я трафика куда больше прогонял через сервер.


Название: Re: Intel PRO/1000 ET - странности работы.
Отправлено: blackjack от 19 Апреля 2010, 10:43:57
pps
трафік звичайно неоднаковий, а от поведінка приблизно однакова


Название: Re: Intel PRO/1000 ET - странности работы.
Отправлено: goletsa от 19 Апреля 2010, 10:48:34
Какой-то у вас аномально маленький размер пакета...



Название: Re: Intel PRO/1000 ET - странности работы.
Отправлено: blackjack от 19 Апреля 2010, 10:59:01
маємо те що маємо ...
307байт


Название: Re: Intel PRO/1000 ET - странности работы.
Отправлено: Lexx от 19 Апреля 2010, 17:14:22
top -SP что показывает на пиках?
не уходят ли процы в 100% по прерываниям?
На картах надо поднимать размер на прерывание и количество потоков, тогда будет лучше.


Название: Re: Intel PRO/1000 ET - странности работы.
Отправлено: blackjack от 19 Апреля 2010, 19:32:20
уходит, я вкурсе что надо поднять, только перезагружать надо, перезагружу отпишусь


Название: Re: Intel PRO/1000 ET - странности работы.
Отправлено: blackjack от 25 Апреля 2010, 14:25:31
короче вернулся на PT, с ET теперь буду разбираться тестами.


Название: Re: Intel PRO/1000 ET - странности работы.
Отправлено: PBNM от 12 Мая 2010, 13:20:44
  Сделал согласно http://subnets.ru/blog/?p=1226 и проблема с subj решилась .


Название: Re: Intel PRO/1000 ET - странности работы.
Отправлено: blackjack от 12 Мая 2010, 14:47:48
у меня проблем с нарзкой скорости небыло, и это сообщения я читал и пробовал. увы не помогло.


Название: Re: Intel PRO/1000 ET - странности работы.
Отправлено: Elisium от 04 Сентября 2010, 22:53:13
Апну тему.
Ктонибуть использует igb сетевухи (ЕТ в данном случае) и фрю 7.3 ?
Есть ли какиенить нюансы/подводные камни (например, -lro)?
Ибо трафик уже бегает под 2 ГБ, ставим ЕТшные карты и интересно, как они работают.
п.с. С яндеховыми дровами их ктото пробовал ? Если да, то как впечатления по нагрузке ?
Вернее, ЕТ + РТ + яндех дрова.


Название: Re: Intel PRO/1000 ET - странности работы.
Отправлено: Elisium от 07 Сентября 2010, 12:47:20
Ну, сам себе и отвечу:
Поставил яндеховые дрова (ибо есть еще и ЕМ карты).
Сделал lagg ифейс.
После чего нить, КРОМЕ пингов, ЕТ карты сыплят watchdogами. Помогает только ребут.
Натюнено все, что только можно. Без тюнинга - однофигственно.
В тоже время лагг на РТ картах работает ВРОДЕ как нормально. МашинкИ то тестовые.
Буду пробовать разные версии дров, ибо ЭТО работой назвать ну никак нельзя (((


Название: Re: Intel PRO/1000 ET - странности работы.
Отправлено: versus от 07 Сентября 2010, 15:03:27
а если интеловые дрова ?
http://subnets.ru/blog/?p=1226


Название: Re: Intel PRO/1000 ET - странности работы.
Отправлено: Elisium от 07 Сентября 2010, 22:18:16
Эту статью читал уже давно.
Яж говорю - натюнено все что можно.
И интеловые дрова пробовал. И 184е, и родные 196е.
Делал вообще "up -tso -lro -rxcsum -txcsum"
Вот еще очень неплохая ветка:
http://forum.nag.ru/forum/index.php?showtopic=52744&st=20

Тестил сегодня ВЕСЬ день на трех разных машинках.
В итоге более-менее нормально завелось ТОЛЬКО на одной - на какойто древней недорогой мамке для офисных компов ))))
На двух других симптомы похожи: на первой кернел паник (сервак Супермикро), на второй - ватчдоги (самосбор на DQ57). Если со второй более/менее понятно (не каждая мамка нормально заведет сетевухи в видеослоте), то с первым не могу вьехать, что не так ((
А времени на разборки нет, ибо сервак очень даже рабочий ...

Пока решили взять на тест 2хпортовые РТ карты, посмотреть, как с ними будет.

п.с. И еще прикол нашел на ЕТ картах:
Схема:
[клиент 1] --- [тестовый шлюз (лагг на igb)] --- [(лагг на em) тестовый шлюз 2] --- [клиент 2]
Запускаю иперф -сервер на 1м шлюзе с игб, иперф-клиент - на Клиенте2.
ОТ клиента скорость 480 Мбт, НА клиента - 10 Мбт.
В тоже время, если иперф-сервер на шлюз1, а иперф-клиент на шлюз2, то скорости примерно по 420 МБт в одну/другую стороны ...
В чем шутка - не понял (((

п.п.с. За весь день втыкания в моник мог че и накрутить ненужного ((


Название: Re: Intel PRO/1000 ET - странности работы.
Отправлено: Elisium от 11 Сентября 2010, 13:12:47
Вообщем, проблему решил танцем с бубном.

Код:
# netstat -w1
            input        (Total)           output
   packets  errs      bytes    packets  errs      bytes colls
    291345     0  250644052     287973     0  250184652     0
    288408     0  245338391     285265     0  245403896     0
    287363     0  249318675     283154     0  248367438     0
    323650     0  282537142     320137     0  281474650     0
    304408     0  264481376     300633     0  263763308     0
    290696     0  252249699     286865     0  251708126     0

Код:
# top -S
last pid: 15771;  load averages:  2.24,  2.41,  2.22              up 0+09:58:34  14:00:56
245 processes: 11 running, 212 sleeping, 22 waiting
CPU:  0.1% user,  0.0% nice, 22.0% system, 13.9% interrupt, 64.0% idle
Mem: 123M Active, 153M Inact, 704M Wired, 416K Cache, 622M Buf, 4933M Free
Swap: 1024M Total, 1024M Free

Код:
# pfctl -s info
No ALTQ support in kernel
ALTQ related functions disabled
Status: Enabled for 0 days 10:09:07           Debug: Urgent

State Table                          Total             Rate
  current entries                    88032
  searches                      5726390865       156685.7/s
  inserts                         35008588          957.9/s
  removals                        34920556          955.5/s
Counters
  match                         3289373809        90003.9/s
  bad-offset                             0            0.0/s

Код:
                 /0   /1   /2   /3   /4   /5   /6   /7   /8   /9   /10
     Load Average   ||||||||||

      Interface           Traffic               Peak                Total
          lagg1  in     82.413 MB/s        110.920 MB/s            1.389 TB
                 out    33.899 MB/s         44.571 MB/s          654.022 GB

          lagg0  in     34.332 MB/s         45.146 MB/s          664.353 GB
                 out    82.557 MB/s        111.177 MB/s            1.394 TB


п.с. Не нашел, как тут спойлеры вставлять(