Затык PPS/Скорости на Broadcom NetXtreme BCM5722 Gigabit Ethernet PCI Express

[Andrey Zentavr]

Долго изучаю одну проблему. Купили мы год назад сервачек HP, стоял себе, кушать не просил.
Начали людишки нарекать что скорость у нас хреновая. Поставили мониторинг, наблюдаем что из гигабитного канала, выделенного нам провайдером мы прокачиваем ну 800 Мбит отсилы.

Схема включения вот такая:
Аплинк => оптоволоконный кабель => Модуль DSB-1000-SM-SC-10 => конвертер Planet GT-805A => сетевая карта Broadcom NetXtreme BCM5722 Gigabit Ethernet PCI Express на сервере Hewlett Packard SE1102 подл управлением FreeBSD 9.0-RELEASE #1 64 Bit - драйвер bge

За конфиг ядра взят GENERIC, добавили немного своего:

Код:

options         DEVICE_POLLING
options         HZ=1000

options         NETGRAPH
options         NETGRAPH_ETHER
options         NETGRAPH_TEE
options         NETGRAPH_NETFLOW
options         NETGRAPH_PPTPGRE
options         NETGRAPH_PPP
options         NETGRAPH_SOCKET
options         NETGRAPH_IPFW
options         NETGRAPH_KSOCKET
options         NETGRAPH_IFACE
options         NETGRAPH_TCPMSS
options         NETGRAPH_PPPOE

options         IPFIREWALL
options         IPFIREWALL_FORWARD
options         IPDIVERT
options         IPFILTER
options         DUMMYNET
options         IPFIREWALL_DEFAULT_TO_ACCEPT
options         IPFIREWALL_NAT
options         LIBALIAS

NAT уже давно не юзаем (если и юзается, то одним-двумя нэтбуками, которые иногда появляются в серверной)

Картинка с ППС во вложении.

Никто не сталкивался с чем-то похожим?

[Cell]

Нужно до 9.1 обновиться т.к. на 9ке были похожие проблемы.

[Andrey Zentavr]

Нужно до 9.1 обновиться т.к. на 9ке были похожие проблемы.

Херово..
Кстате, я тут заметил, что у меня на сетевых поллинг был отключён.

Код:

bge1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=c019b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4,VLAN_HWTSO,LINKSTATE>
        ether 00:24:81:b4:0c:91
        inet6 fe80::224:81ff:feb4:c91%bge1 prefixlen 64 scopeid 0x6
        nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
        media: Ethernet autoselect (1000baseT <full-duplex>)
        status: active

Попробовал я его включить и стало ещё хуже. канал прокачивался только до 20 Мбайт/сек, проц не загружен, Load Average болтался в нулях.

Код:

bge1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=c01db<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,POLLING,VLAN_HWCSUM,TSO4,VLAN_HWTSO,LINKSTATE>
        ether 00:24:81:b4:0c:91
        inet6 fe80::224:81ff:feb4:c91%bge1 prefixlen 64 scopeid 0x6
        nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
        media: Ethernet autoselect (1000baseT <full-duplex>)
        status: active

Вернул всё взад

[goletsa]

Нужно до 9.1 обновиться т.к. на 9ке были похожие проблемы.

Херово..
Кстате, я тут заметил, что у меня на сетевых поллинг был отключён.

Код:

bge1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=c019b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4,VLAN_HWTSO,LINKSTATE>
        ether 00:24:81:b4:0c:91
        inet6 fe80::224:81ff:feb4:c91%bge1 prefixlen 64 scopeid 0x6
        nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
        media: Ethernet autoselect (1000baseT <full-duplex>)
        status: active

Попробовал я его включить и стало ещё хуже. канал прокачивался только до 20 Мбайт/сек, проц не загружен, Load Average болтался в нулях.

Код:

bge1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=c01db<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,POLLING,VLAN_HWCSUM,TSO4,VLAN_HWTSO,LINKSTATE>
        ether 00:24:81:b4:0c:91
        inet6 fe80::224:81ff:feb4:c91%bge1 prefixlen 64 scopeid 0x6
        nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
        media: Ethernet autoselect (1000baseT <full-duplex>)
        status: active

Вернул всё взад

На хороших сетевых поллинг нафиг не нужен.
Кстати карта случайно не на pcie x1 висит?

[Andrey Zentavr]

На хороших сетевых поллинг нафиг не нужен.
Кстати карта случайно не на pcie x1 висит?

Карта встроена в материнку. Это стоечный 1U сервер.

[goletsa]

На хороших сетевых поллинг нафиг не нужен.
Кстати карта случайно не на pcie x1 висит?

Карта встроена в материнку. Это стоечный 1U сервер.

Ну она может висеть как на x1 порту так и на более широком.
Кстати Intel 9402PT висит на pcie x4, хотя там всего 2 порта.

[ser970]

На хороших сетевых поллинг нафиг не нужен.
Кстати карта случайно не на pcie x1 висит?

Карта встроена в материнку. Это стоечный 1U сервер.

Ну она может висеть как на x1 порту так и на более широком.
Кстати Intel 9402PT висит на pcie x4, хотя там всего 2 порта.

че гадать то
http://www.broadcom.com/products/Ethernet-Controllers-and-Adapters/Enterprise-Server-Controllers/BCM5722
The device provides an x1 PCIe v1.1 bus interface

[goletsa]

На хороших сетевых поллинг нафиг не нужен.
Кстати карта случайно не на pcie x1 висит?

Карта встроена в материнку. Это стоечный 1U сервер.

Ну она может висеть как на x1 порту так и на более широком.
Кстати Intel 9402PT висит на pcie x4, хотя там всего 2 порта.

че гадать то
http://www.broadcom.com/products/Ethernet-Controllers-and-Adapters/Enterprise-Server-Controllers/BCM5722
The device provides an x1 PCIe v1.1 bus interface

Тогда может имеет смысл задуматься о смене сетевой карты.
PCIe x1 недостаточно для пропуска fullduplex 1Gbit\s
На forum.nag.ru был топик, тоже с интегрированными картами все было не так хорошо.

[Andrey Zentavr]

Тогда может имеет смысл задуматься о смене сетевой карты.
PCIe x1 недостаточно для пропуска fullduplex 1Gbit\s
На forum.nag.ru был топик, тоже с интегрированными картами все было не так хорошо.

Судя по викпедии PCI-e 1.1 это немного измененный 1.0 где No changes were made to the data rate.
Читаем про 1.0 немного выше:

Код:

In 2003, PCI-SIG introduced PCIe 1.0a, with a per-lane data rate of 250 MB/s and a transfer rate of 2.5 gigatransfers per second (GT/s). Transfer rate is expressed in transfers per second instead of bits per second because the number of transfers includes the overhead bits, which do not provide additional throughput.[16]

PCIe 1.x uses an 8b/10b encoding scheme that results in a 20 percent ((10-8)/10) overhead on the raw bit rate. It uses a 2.5 GHz clock rate, therefore delivering an effective 250 000 000 bytes per second (250 MB/s) maximum data rate

Максимальный дата-рэйт - 250 Мбайт/сек (не мегабит). Т.е. 250 * 8 = 2000 Мбит/сек.
Ровно аккуратно влазим в гигабитный полный дуплекс (1000Мбит/сек).
Вот не совсем я понял смысл этой фразы:

Код:

PCIe 1.x uses an 8b/10b encoding scheme that results in a 20 percent ((10-8)/10) overhead on the raw bit rate.

PCIe 1.x использует 8b/10b схему кодирования, которая приводит к 20 процентам ((10-8) / 10) накладныx расходов на заявленную скорость передачи данных.

...тогда в принципе это и объясняет почему я в аккурат не вытягиваю эти около-20% по трафику.

[goletsa]

Максимальный дата-рэйт - 250 Мбайт/сек (не мегабит). Т.е. 250 * 8 = 2000 Мбит/сек.
Ровно аккуратно влазим в гигабитный полный дуплекс (1000Мбит/сек).

А накладные расходы? Заголовки как пакетов, так и служебных данных(как сетевой, так и самой шины pcie).

PCIe 1.x uses an 8b/10b encoding scheme that results in a 20 percent ((10-8)/10) overhead on the raw bit rate.

Ну оно похоже и есть.
Переезжайте тогда на двупортовки.
Можно причем ET карты, в последних версиях все хорошо с поддержкой очередей.