Биллинговая система Nodeny

Главная категория => Курилка => Тема начата: Andrey Zentavr от 07 Марта 2013, 01:35:12


Название: Затык PPS/Скорости на Broadcom NetXtreme BCM5722 Gigabit Ethernet PCI Express
Отправлено: Andrey Zentavr от 07 Марта 2013, 01:35:12
Долго изучаю одну проблему. Купили мы год назад сервачек HP, стоял себе, кушать не просил.
Начали людишки нарекать что скорость у нас хреновая. Поставили мониторинг, наблюдаем что из гигабитного канала, выделенного нам провайдером мы прокачиваем ну 800 Мбит отсилы.

Схема включения вот такая:
Аплинк => оптоволоконный кабель => Модуль DSB-1000-SM-SC-10 => конвертер Planet GT-805A => сетевая карта Broadcom NetXtreme BCM5722 Gigabit Ethernet PCI Express на сервере Hewlett Packard SE1102 подл управлением FreeBSD 9.0-RELEASE #1 64 Bit - драйвер bge

За конфиг ядра взят GENERIC, добавили немного своего:
Код:
options         DEVICE_POLLING
options         HZ=1000

options         NETGRAPH
options         NETGRAPH_ETHER
options         NETGRAPH_TEE
options         NETGRAPH_NETFLOW
options         NETGRAPH_PPTPGRE
options         NETGRAPH_PPP
options         NETGRAPH_SOCKET
options         NETGRAPH_IPFW
options         NETGRAPH_KSOCKET
options         NETGRAPH_IFACE
options         NETGRAPH_TCPMSS
options         NETGRAPH_PPPOE

options         IPFIREWALL
options         IPFIREWALL_FORWARD
options         IPDIVERT
options         IPFILTER
options         DUMMYNET
options         IPFIREWALL_DEFAULT_TO_ACCEPT
options         IPFIREWALL_NAT
options         LIBALIAS

NAT уже давно не юзаем (если и юзается, то одним-двумя нэтбуками, которые иногда появляются в серверной)

Картинка с ППС во вложении.

Никто не сталкивался с чем-то похожим?

Название: Re: Затык PPS/Скорости на Broadcom NetXtreme BCM5722 Gigabit Ethernet PCI Express
Отправлено: Cell от 07 Марта 2013, 08:50:32
Нужно до 9.1 обновиться т.к. на 9ке были похожие проблемы.

Название: Re: Затык PPS/Скорости на Broadcom NetXtreme BCM5722 Gigabit Ethernet PCI Express
Отправлено: Andrey Zentavr от 07 Марта 2013, 15:48:35
Цитата: Cell от 07 Марта 2013, 08:50:32
Нужно до 9.1 обновиться т.к. на 9ке были похожие проблемы.
Херово..
Кстате, я тут заметил, что у меня на сетевых поллинг был отключён.
Код:
bge1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=c019b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4,VLAN_HWTSO,LINKSTATE>
        ether 00:24:81:b4:0c:91
        inet6 fe80::224:81ff:feb4:c91%bge1 prefixlen 64 scopeid 0x6
        nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
        media: Ethernet autoselect (1000baseT <full-duplex>)
        status: active

Попробовал я его включить и стало ещё хуже. канал прокачивался только до 20 Мбайт/сек, проц не загружен, Load Average болтался в нулях.
Код:
bge1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=c01db<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,POLLING,VLAN_HWCSUM,TSO4,VLAN_HWTSO,LINKSTATE>
        ether 00:24:81:b4:0c:91
        inet6 fe80::224:81ff:feb4:c91%bge1 prefixlen 64 scopeid 0x6
        nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
        media: Ethernet autoselect (1000baseT <full-duplex>)
        status: active

Вернул всё взад :(


Название: Re: Затык PPS/Скорости на Broadcom NetXtreme BCM5722 Gigabit Ethernet PCI Express
Отправлено: goletsa от 07 Марта 2013, 16:23:31
Цитата: Andrey Zentavr от 07 Марта 2013, 15:48:35
Цитата: Cell от 07 Марта 2013, 08:50:32
Нужно до 9.1 обновиться т.к. на 9ке были похожие проблемы.
Херово..
Кстате, я тут заметил, что у меня на сетевых поллинг был отключён.
Код:
bge1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=c019b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4,VLAN_HWTSO,LINKSTATE>
        ether 00:24:81:b4:0c:91
        inet6 fe80::224:81ff:feb4:c91%bge1 prefixlen 64 scopeid 0x6
        nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
        media: Ethernet autoselect (1000baseT <full-duplex>)
        status: active

Попробовал я его включить и стало ещё хуже. канал прокачивался только до 20 Мбайт/сек, проц не загружен, Load Average болтался в нулях.
Код:
bge1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=c01db<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,POLLING,VLAN_HWCSUM,TSO4,VLAN_HWTSO,LINKSTATE>
        ether 00:24:81:b4:0c:91
        inet6 fe80::224:81ff:feb4:c91%bge1 prefixlen 64 scopeid 0x6
        nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
        media: Ethernet autoselect (1000baseT <full-duplex>)
        status: active

Вернул всё взад :(


На хороших сетевых поллинг нафиг не нужен.
Кстати карта случайно не на pcie x1 висит?

Название: Re: Затык PPS/Скорости на Broadcom NetXtreme BCM5722 Gigabit Ethernet PCI Express
Отправлено: Andrey Zentavr от 11 Марта 2013, 12:59:53
Цитата: goletsa от 07 Марта 2013, 16:23:31
На хороших сетевых поллинг нафиг не нужен.
Кстати карта случайно не на pcie x1 висит?

Карта встроена в материнку. Это стоечный 1U сервер.

Название: Re: Затык PPS/Скорости на Broadcom NetXtreme BCM5722 Gigabit Ethernet PCI Express
Отправлено: goletsa от 11 Марта 2013, 14:49:01
Цитата: Andrey Zentavr от 11 Марта 2013, 12:59:53
Цитата: goletsa от 07 Марта 2013, 16:23:31
На хороших сетевых поллинг нафиг не нужен.
Кстати карта случайно не на pcie x1 висит?

Карта встроена в материнку. Это стоечный 1U сервер.
Ну она может висеть как на x1 порту так и на более широком.
Кстати Intel 9402PT висит на pcie x4, хотя там всего 2 порта.

Название: Re: Затык PPS/Скорости на Broadcom NetXtreme BCM5722 Gigabit Ethernet PCI Express
Отправлено: ser970 от 11 Марта 2013, 17:31:27
Цитата: goletsa от 11 Марта 2013, 14:49:01
Цитата: Andrey Zentavr от 11 Марта 2013, 12:59:53
Цитата: goletsa от 07 Марта 2013, 16:23:31
На хороших сетевых поллинг нафиг не нужен.
Кстати карта случайно не на pcie x1 висит?

Карта встроена в материнку. Это стоечный 1U сервер.
Ну она может висеть как на x1 порту так и на более широком.
Кстати Intel 9402PT висит на pcie x4, хотя там всего 2 порта.
че гадать то
http://www.broadcom.com/products/Ethernet-Controllers-and-Adapters/Enterprise-Server-Controllers/BCM5722
The device provides an x1 PCIe v1.1 bus interface

Название: Re: Затык PPS/Скорости на Broadcom NetXtreme BCM5722 Gigabit Ethernet PCI Express
Отправлено: goletsa от 11 Марта 2013, 18:36:36
Цитата: ser970 от 11 Марта 2013, 17:31:27
Цитата: goletsa от 11 Марта 2013, 14:49:01
Цитата: Andrey Zentavr от 11 Марта 2013, 12:59:53
Цитата: goletsa от 07 Марта 2013, 16:23:31
На хороших сетевых поллинг нафиг не нужен.
Кстати карта случайно не на pcie x1 висит?

Карта встроена в материнку. Это стоечный 1U сервер.
Ну она может висеть как на x1 порту так и на более широком.
Кстати Intel 9402PT висит на pcie x4, хотя там всего 2 порта.
че гадать то
http://www.broadcom.com/products/Ethernet-Controllers-and-Adapters/Enterprise-Server-Controllers/BCM5722
The device provides an x1 PCIe v1.1 bus interface

Тогда может имеет смысл задуматься о смене сетевой карты.
PCIe x1 недостаточно для пропуска fullduplex 1Gbit\s
На forum.nag.ru был топик, тоже с интегрированными картами все было не так хорошо.

Название: Re: Затык PPS/Скорости на Broadcom NetXtreme BCM5722 Gigabit Ethernet PCI Express
Отправлено: Andrey Zentavr от 11 Марта 2013, 20:49:39
Цитата: goletsa от 11 Марта 2013, 18:36:36
Тогда может имеет смысл задуматься о смене сетевой карты.
PCIe x1 недостаточно для пропуска fullduplex 1Gbit\s
На forum.nag.ru был топик, тоже с интегрированными картами все было не так хорошо.

Судя по викпедии (http://en.wikipedia.org/wiki/PCI_Express#PCI_Express_1.1) PCI-e 1.1 это немного измененный 1.0 где No changes were made to the data rate.
Читаем про 1.0 немного выше:
Код:
In 2003, PCI-SIG introduced PCIe 1.0a, with a per-lane data rate of 250 MB/s and a transfer rate of 2.5 gigatransfers per second (GT/s). Transfer rate is expressed in transfers per second instead of bits per second because the number of transfers includes the overhead bits, which do not provide additional throughput.[16]

PCIe 1.x uses an 8b/10b encoding scheme that results in a 20 percent ((10-8)/10) overhead on the raw bit rate. It uses a 2.5 GHz clock rate, therefore delivering an effective 250 000 000 bytes per second (250 MB/s) maximum data rate

Максимальный дата-рэйт - 250 Мбайт/сек (не мегабит). Т.е. 250 * 8 = 2000 Мбит/сек.
Ровно аккуратно влазим в гигабитный полный дуплекс (1000Мбит/сек).
Вот не совсем я понял смысл этой фразы:
Код:
PCIe 1.x uses an 8b/10b encoding scheme that results in a 20 percent ((10-8)/10) overhead on the raw bit rate.

PCIe 1.x использует 8b/10b схему кодирования, которая приводит к 20 процентам ((10-8) / 10) накладныx расходов на заявленную скорость передачи данных.

...тогда в принципе это и объясняет почему я в аккурат не вытягиваю эти около-20% по трафику.

Название: Re: Затык PPS/Скорости на Broadcom NetXtreme BCM5722 Gigabit Ethernet PCI Express
Отправлено: goletsa от 11 Марта 2013, 20:56:50
Цитата: Andrey Zentavr от 11 Марта 2013, 20:49:39
Максимальный дата-рэйт - 250 Мбайт/сек (не мегабит). Т.е. 250 * 8 = 2000 Мбит/сек.
Ровно аккуратно влазим в гигабитный полный дуплекс (1000Мбит/сек).
А накладные расходы? Заголовки как пакетов, так и служебных данных(как сетевой, так и самой шины pcie).

Цитировать
PCIe 1.x uses an 8b/10b encoding scheme that results in a 20 percent ((10-8)/10) overhead on the raw bit rate.
Ну оно похоже и есть.
Переезжайте тогда на двупортовки.
Можно причем ET карты, в последних версиях все хорошо с поддержкой очередей.


Powered by SMF 1.1.20 | SMF © 2006-2009, Simple Machines