Биллинговая система Nodeny
01 Ноября 2024, 02:36:11 *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.
Вам не пришло письмо с кодом активации?

Войти
Новости: Прекращена поддержка версии Nodeny 49
 
   Начало   Помощь Поиск Войти Регистрация  
Страниц: [1]
  Печать  
Автор Тема: Затык PPS/Скорости на Broadcom NetXtreme BCM5722 Gigabit Ethernet PCI Express  (Прочитано 8124 раз)
Andrey Zentavr
NoDeny
Старожил
*

Карма: 29
Offline Offline

Сообщений: 301



Просмотр профиля
« : 07 Марта 2013, 01:35:12 »

Долго изучаю одну проблему. Купили мы год назад сервачек HP, стоял себе, кушать не просил.
Начали людишки нарекать что скорость у нас хреновая. Поставили мониторинг, наблюдаем что из гигабитного канала, выделенного нам провайдером мы прокачиваем ну 800 Мбит отсилы.

Схема включения вот такая:
Аплинк => оптоволоконный кабель => Модуль DSB-1000-SM-SC-10 => конвертер Planet GT-805A => сетевая карта Broadcom NetXtreme BCM5722 Gigabit Ethernet PCI Express на сервере Hewlett Packard SE1102 подл управлением FreeBSD 9.0-RELEASE #1 64 Bit - драйвер bge

За конфиг ядра взят GENERIC, добавили немного своего:
Код:
options         DEVICE_POLLING
options         HZ=1000

options         NETGRAPH
options         NETGRAPH_ETHER
options         NETGRAPH_TEE
options         NETGRAPH_NETFLOW
options         NETGRAPH_PPTPGRE
options         NETGRAPH_PPP
options         NETGRAPH_SOCKET
options         NETGRAPH_IPFW
options         NETGRAPH_KSOCKET
options         NETGRAPH_IFACE
options         NETGRAPH_TCPMSS
options         NETGRAPH_PPPOE

options         IPFIREWALL
options         IPFIREWALL_FORWARD
options         IPDIVERT
options         IPFILTER
options         DUMMYNET
options         IPFIREWALL_DEFAULT_TO_ACCEPT
options         IPFIREWALL_NAT
options         LIBALIAS

NAT уже давно не юзаем (если и юзается, то одним-двумя нэтбуками, которые иногда появляются в серверной)

Картинка с ППС во вложении.

Никто не сталкивался с чем-то похожим?
Записан
Cell
NoDeny
Спец
*

Карма: 52
Offline Offline

Сообщений: 1407



Просмотр профиля
« Ответ #1 : 07 Марта 2013, 08:50:32 »

Нужно до 9.1 обновиться т.к. на 9ке были похожие проблемы.
Записан
Andrey Zentavr
NoDeny
Старожил
*

Карма: 29
Offline Offline

Сообщений: 301



Просмотр профиля
« Ответ #2 : 07 Марта 2013, 15:48:35 »

Нужно до 9.1 обновиться т.к. на 9ке были похожие проблемы.
Херово..
Кстате, я тут заметил, что у меня на сетевых поллинг был отключён.
Код:
bge1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=c019b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4,VLAN_HWTSO,LINKSTATE>
        ether 00:24:81:b4:0c:91
        inet6 fe80::224:81ff:feb4:c91%bge1 prefixlen 64 scopeid 0x6
        nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
        media: Ethernet autoselect (1000baseT <full-duplex>)
        status: active

Попробовал я его включить и стало ещё хуже. канал прокачивался только до 20 Мбайт/сек, проц не загружен, Load Average болтался в нулях.
Код:
bge1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=c01db<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,POLLING,VLAN_HWCSUM,TSO4,VLAN_HWTSO,LINKSTATE>
        ether 00:24:81:b4:0c:91
        inet6 fe80::224:81ff:feb4:c91%bge1 prefixlen 64 scopeid 0x6
        nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
        media: Ethernet autoselect (1000baseT <full-duplex>)
        status: active

Вернул всё взад Грустный

Записан
goletsa
NoDeny
Спец
*

Карма: 21
Offline Offline

Сообщений: 973


Просмотр профиля
« Ответ #3 : 07 Марта 2013, 16:23:31 »

Нужно до 9.1 обновиться т.к. на 9ке были похожие проблемы.
Херово..
Кстате, я тут заметил, что у меня на сетевых поллинг был отключён.
Код:
bge1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=c019b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4,VLAN_HWTSO,LINKSTATE>
        ether 00:24:81:b4:0c:91
        inet6 fe80::224:81ff:feb4:c91%bge1 prefixlen 64 scopeid 0x6
        nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
        media: Ethernet autoselect (1000baseT <full-duplex>)
        status: active

Попробовал я его включить и стало ещё хуже. канал прокачивался только до 20 Мбайт/сек, проц не загружен, Load Average болтался в нулях.
Код:
bge1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=c01db<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,POLLING,VLAN_HWCSUM,TSO4,VLAN_HWTSO,LINKSTATE>
        ether 00:24:81:b4:0c:91
        inet6 fe80::224:81ff:feb4:c91%bge1 prefixlen 64 scopeid 0x6
        nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
        media: Ethernet autoselect (1000baseT <full-duplex>)
        status: active

Вернул всё взад Грустный


На хороших сетевых поллинг нафиг не нужен.
Кстати карта случайно не на pcie x1 висит?
Записан
Andrey Zentavr
NoDeny
Старожил
*

Карма: 29
Offline Offline

Сообщений: 301



Просмотр профиля
« Ответ #4 : 11 Марта 2013, 12:59:53 »

На хороших сетевых поллинг нафиг не нужен.
Кстати карта случайно не на pcie x1 висит?

Карта встроена в материнку. Это стоечный 1U сервер.
Записан
goletsa
NoDeny
Спец
*

Карма: 21
Offline Offline

Сообщений: 973


Просмотр профиля
« Ответ #5 : 11 Марта 2013, 14:49:01 »

На хороших сетевых поллинг нафиг не нужен.
Кстати карта случайно не на pcie x1 висит?

Карта встроена в материнку. Это стоечный 1U сервер.
Ну она может висеть как на x1 порту так и на более широком.
Кстати Intel 9402PT висит на pcie x4, хотя там всего 2 порта.
Записан
ser970
NoDeny
Спец
*

Карма: 70
Offline Offline

Сообщений: 1323

262462619
Просмотр профиля Email
« Ответ #6 : 11 Марта 2013, 17:31:27 »

На хороших сетевых поллинг нафиг не нужен.
Кстати карта случайно не на pcie x1 висит?

Карта встроена в материнку. Это стоечный 1U сервер.
Ну она может висеть как на x1 порту так и на более широком.
Кстати Intel 9402PT висит на pcie x4, хотя там всего 2 порта.
че гадать то
http://www.broadcom.com/products/Ethernet-Controllers-and-Adapters/Enterprise-Server-Controllers/BCM5722
The device provides an x1 PCIe v1.1 bus interface
Записан
goletsa
NoDeny
Спец
*

Карма: 21
Offline Offline

Сообщений: 973


Просмотр профиля
« Ответ #7 : 11 Марта 2013, 18:36:36 »

На хороших сетевых поллинг нафиг не нужен.
Кстати карта случайно не на pcie x1 висит?

Карта встроена в материнку. Это стоечный 1U сервер.
Ну она может висеть как на x1 порту так и на более широком.
Кстати Intel 9402PT висит на pcie x4, хотя там всего 2 порта.
че гадать то
http://www.broadcom.com/products/Ethernet-Controllers-and-Adapters/Enterprise-Server-Controllers/BCM5722
The device provides an x1 PCIe v1.1 bus interface

Тогда может имеет смысл задуматься о смене сетевой карты.
PCIe x1 недостаточно для пропуска fullduplex 1Gbit\s
На forum.nag.ru был топик, тоже с интегрированными картами все было не так хорошо.
Записан
Andrey Zentavr
NoDeny
Старожил
*

Карма: 29
Offline Offline

Сообщений: 301



Просмотр профиля
« Ответ #8 : 11 Марта 2013, 20:49:39 »

Тогда может имеет смысл задуматься о смене сетевой карты.
PCIe x1 недостаточно для пропуска fullduplex 1Gbit\s
На forum.nag.ru был топик, тоже с интегрированными картами все было не так хорошо.

Судя по викпедии PCI-e 1.1 это немного измененный 1.0 где No changes were made to the data rate.
Читаем про 1.0 немного выше:
Код:
In 2003, PCI-SIG introduced PCIe 1.0a, with a per-lane data rate of 250 MB/s and a transfer rate of 2.5 gigatransfers per second (GT/s). Transfer rate is expressed in transfers per second instead of bits per second because the number of transfers includes the overhead bits, which do not provide additional throughput.[16]

PCIe 1.x uses an 8b/10b encoding scheme that results in a 20 percent ((10-8)/10) overhead on the raw bit rate. It uses a 2.5 GHz clock rate, therefore delivering an effective 250 000 000 bytes per second (250 MB/s) maximum data rate

Максимальный дата-рэйт - 250 Мбайт/сек (не мегабит). Т.е. 250 * 8 = 2000 Мбит/сек.
Ровно аккуратно влазим в гигабитный полный дуплекс (1000Мбит/сек).
Вот не совсем я понял смысл этой фразы:
Код:
PCIe 1.x uses an 8b/10b encoding scheme that results in a 20 percent ((10-8)/10) overhead on the raw bit rate.

PCIe 1.x использует 8b/10b схему кодирования, которая приводит к 20 процентам ((10-8) / 10) накладныx расходов на заявленную скорость передачи данных.

...тогда в принципе это и объясняет почему я в аккурат не вытягиваю эти около-20% по трафику.
Записан
goletsa
NoDeny
Спец
*

Карма: 21
Offline Offline

Сообщений: 973


Просмотр профиля
« Ответ #9 : 11 Марта 2013, 20:56:50 »

Максимальный дата-рэйт - 250 Мбайт/сек (не мегабит). Т.е. 250 * 8 = 2000 Мбит/сек.
Ровно аккуратно влазим в гигабитный полный дуплекс (1000Мбит/сек).
А накладные расходы? Заголовки как пакетов, так и служебных данных(как сетевой, так и самой шины pcie).

Цитировать
PCIe 1.x uses an 8b/10b encoding scheme that results in a 20 percent ((10-8)/10) overhead on the raw bit rate.
Ну оно похоже и есть.
Переезжайте тогда на двупортовки.
Можно причем ET карты, в последних версиях все хорошо с поддержкой очередей.
Записан
Страниц: [1]
  Печать  
 
Перейти в:  

Powered by MySQL Powered by PHP Powered by SMF 1.1.20 | SMF © 2006-2009, Simple Machines Valid XHTML 1.0! Valid CSS!