Биллинговая система Nodeny

Главная категория => Nodeny 50 => Тема начата: a_eugene от 07 Декабря 2010, 17:21:36


Название: Разбил igb0 на valn-ы - скорость абонов упала до 0,3 мбит\с, на передачу до 8
Отправлено: a_eugene от 07 Декабря 2010, 17:21:36
Есть на основном сервере сетевуха igb с интеловыми драйверами. На ней был igb0 10.0.0.1/8, igb1 c двумя адресами BGP и re0 c реальным IP для сателлитов. Разбил igb0 на vlan и добавил реальный адрес для сателита (раньше сателит ходил через re0), а re0 оставил для доступа к свичу. Поставили новый гигабитный свитч TP-Link 3109 (был d-link 3526 - портов гигніх не хватало), повозились с BGP - все заработало. Но у абонентов скорость стала rx-0,3\tx-8 мбит\с (speedtest.net). Менялись только rc.conf pf.conf rc.firewall mpd.conf - что могли сделать не так? Если качать напрямую с сервера с ex.ua, то скорость до 40 Мбайт/сек (МЕГАБАЙТ), а с если с сателлита, то больше 700 кбайт/c не поднимается, от абонента до 300 кбайт....Между серверами (бесплатный тарифный план) скорость полная - 10 мбайт\сек. Сетелит с лаковского фтпишника тянет тоже 10 мбайт\сек.

Название: Re: Разбил igb0 на valn-ы - скорость абонов упала до 0,3 мбит\с, на передачу до 8
Отправлено: stix от 07 Декабря 2010, 17:34:57
тяжело читается...

Название: Re: Разбил igb0 на valn-ы - скорость абонов упала до 0,3 мбит\с, на передачу до 8
Отправлено: a_eugene от 07 Декабря 2010, 17:39:03
Код:
# $FreeBSD: src/etc/sysctl.conf,v 1.8.32.1 2009/04/15 03:14:26 kensmith Exp $                                                                                           
#                                                                                                                                                                       
#  This file is read when going to multi-user and its contents piped thru                                                                                               
#  ``sysctl'' to adjust kernel values.  ``man 5 sysctl.conf'' for details.                                                                                              
#                                                                                                                                                                       
                                                                                                                                                                        
# Uncomment this to prevent users from seeing information about processes that                                                                                          
# are being run under another UID.                                                                                                                                      
net.inet.ip.dummynet.hash_size=256                                                                                                                                      
net.inet.ip.dummynet.io_fast=1                                                                                                                                          
net.inet.ip.fastforwarding=1                                                                                                                                            
                                                                                                                                                                        
#FOR IGB TEST                                                                                                                                                           
#dev.igb.0.enable_lro=0                                                                                                                                                 
#dev.igb.1.enable_lro=0                                                                                                                                                 
#dev.igb.0.rx_processing_limit=2048                                                                                                                                     
#dev.igb.1.rx_processing_limit=2048

Код:
if_igb_load="YES"                                                                                                                                                       
pf_load="YES"                                                                                                                                                           
accf_data_load="YES"                                                                                                                                                    
accf_http_load="YES"                                                                                                                                                    
kern.maxdsiz="2G"                                                                                                                                                       
kern.dfldsiz="2G"

Название: Re: Разбил igb0 на valn-ы - скорость абонов упала до 0,3 мбит\с, на передачу до 8
Отправлено: goletsa от 07 Декабря 2010, 20:08:21
Версия драйвера igb?

Название: Re: Разбил igb0 на valn-ы - скорость абонов упала до 0,3 мбит\с, на передачу до 8
Отправлено: a_eugene от 07 Декабря 2010, 20:22:42
Драйвер 1.8.4 intel 2009 года, вроде бы последний. Да, ещё zebra конфигурилась, но думаю не из-за неё

Название: Re: Разбил igb0 на valn-ы - скорость абонов упала до 0,3 мбит\с, на передачу до 8
Отправлено: Unix от 08 Декабря 2010, 02:39:57
А где можно взять драйвер от Яндекса на igb карточку?

Название: Re: Разбил igb0 на valn-ы - скорость абонов упала до 0,3 мбит\с, на передачу до 8
Отправлено: goletsa от 08 Декабря 2010, 03:14:27
Код:
$ cat /etc/rc.conf | grep igb
ifconfig_igb0="inet 1.1.1.1/28 -lro"

$ cat /boot/loader.conf 
if_igb_load="YES"
hw.igb.rxd=2048
hw.igb.txd=2048
hw.igb.num_queues=1
hw.igb.enable_aim=1
hw.igb.low_latency=1000
hw.igb.ave_latency=2000
hw.igb.bulk_latency=4000
hw.igb.rx_process_limit=100
hw.igb.fc_setting=0

Какая версия ОС кстати?

Название: Re: Разбил igb0 на valn-ы - скорость абонов упала до 0,3 мбит\с, на передачу до 8
Отправлено: goletsa от 08 Декабря 2010, 03:14:52
Цитата: Unix от 08 Декабря 2010, 02:39:57
А где можно взять драйвер от Яндекса на igb карточку?
Там же где всегда.

Название: Re: Разбил igb0 на valn-ы - скорость абонов упала до 0,3 мбит\с, на передачу до 8
Отправлено: goletsa от 08 Декабря 2010, 03:22:12
http://people.yandex-team.ru/~wawa/e1000-7.0.5-RELENG7-yandex-1.36.2.18.tar.gz
Туточки внутри есть igb но не знаю какой версии.

Название: Re: Разбил igb0 на valn-ы - скорость абонов упала до 0,3 мбит\с, на передачу до 8
Отправлено: Elisium от 08 Декабря 2010, 08:45:58
В loader.conf добавь во первых
Код:
hw.igb.lro=0
и перегрузи сервер.
Это совсем не то же самое, что "-lro" в rc.conf.

И во вторых
Код:
hw.igb.enable_aim=0
hw.igb.num_queues=3
тут нужно смотреть по кол-ву ядер на сервере и реально задействованным очередям.
А то могут создаваться 8 очередей, а реально работает одна или две.

Название: Re: Разбил igb0 на valn-ы - скорость абонов упала до 0,3 мбит\с, на передачу до 8
Отправлено: a_eugene от 08 Декабря 2010, 17:18:55
7.2-RELEASE-p6 FreeBSD 7.2-RELEASE-p6 /usr/src/sys/i386/compile/NODENY  i386

Код:
ifconfig_igb0="up"                                                                                                                                                      
ifconfig_vlan11="inet 10.0.0.1 netmask 255.0.0.0 vlan 11 vlandev igb0"                                                                                                  
ifconfig_vlan64="inet zz.zz.zz.1 netmask 255.255.255.0 vlan 64 vlandev igb0"                                                                                           
                                                                                                                                                                        
#igb1 BGP                                                                                                                                                               
ifconfig_igb1="up"                                                                                                                                                      
ifconfig_vlan577="inet x.x.x.x netmask 255.255.255.252 vlan 577 vlandev igb1"                                                                                   
ifconfig_vlan578="inet y.y.y.y netmask 255.255.255.252 vlan 578 vlandev igb1"

Непонятно
ifconfig_igb0="inet 1.1.1.1/28 -lro"
Как это должно быть записано в моем случае?

Название: Re: Разбил igb0 на valn-ы - скорость абонов упала до 0,3 мбит\с, на передачу до 8
Отправлено: a_eugene от 08 Декабря 2010, 17:36:30
У меня пока так по умолчанию
Цитировать
dev.igb.0.%desc: Intel(R) PRO/1000 Network Connection version - 1.8.4
dev.igb.0.%driver: igb
dev.igb.0.%location: slot=0 function=0
dev.igb.0.%pnpinfo: vendor=0x8086 device=0x10c9 subvendor=0x8086 subdevice=0xa03c class=0x020000
dev.igb.0.%parent: pci1
dev.igb.0.debug: -1
dev.igb.0.stats: -1
dev.igb.0.flow_control: 3
dev.igb.0.enable_aim: 1
dev.igb.0.low_latency: 128
dev.igb.0.ave_latency: 450
dev.igb.0.bulk_latency: 1200
dev.igb.0.rx_processing_limit: 100
dev.igb.1.%desc: Intel(R) PRO/1000 Network Connection version - 1.8.4
dev.igb.1.%driver: igb
dev.igb.1.%location: slot=0 function=1
dev.igb.1.%pnpinfo: vendor=0x8086 device=0x10c9 subvendor=0x8086 subdevice=0xa03c class=0x020000
dev.igb.1.%parent: pci1
dev.igb.1.debug: -1
dev.igb.1.stats: -1
dev.igb.1.flow_control: 3
dev.igb.1.enable_aim: 1
dev.igb.1.low_latency: 128
dev.igb.1.ave_latency: 450
dev.igb.1.bulk_latency: 1200
dev.igb.1.rx_processing_limit: 100

Сейчас попробую добавить hw.igb.lro=0

Название: Re: Разбил igb0 на valn-ы - скорость абонов упала до 0,3 мбит\с, на передачу до 8
Отправлено: goletsa от 08 Декабря 2010, 17:39:18
Цитата: a_eugene от 08 Декабря 2010, 17:18:55
7.2-RELEASE-p6 FreeBSD 7.2-RELEASE-p6 /usr/src/sys/i386/compile/NODENY  i386

Код:
ifconfig_igb0="up"                                                                                                                                                      
ifconfig_vlan11="inet 10.0.0.1 netmask 255.0.0.0 vlan 11 vlandev igb0"                                                                                                  
ifconfig_vlan64="inet zz.zz.zz.1 netmask 255.255.255.0 vlan 64 vlandev igb0"                                                                                           
                                                                                                                                                                        
#igb1 BGP                                                                                                                                                               
ifconfig_igb1="up"                                                                                                                                                      
ifconfig_vlan577="inet x.x.x.x netmask 255.255.255.252 vlan 577 vlandev igb1"                                                                                   
ifconfig_vlan578="inet y.y.y.y netmask 255.255.255.252 vlan 578 vlandev igb1"

Непонятно
ifconfig_igb0="inet 1.1.1.1/28 -lro"
Как это должно быть записано в моем случае?

После up
Вообще lro както коряво на разных версиях драйвера выключается.

Название: Re: Разбил igb0 на valn-ы - скорость абонов упала до 0,3 мбит\с, на передачу до 8
Отправлено: a_eugene от 08 Декабря 2010, 18:11:38
Что-то у меня вход с выходом не сходиться...578 и 577 внешние, а 64 и 11 внутренние...

Код:
        vlan578  in    992.265 KB/s          1.842 MB/s            1.477 GB
                 out   584.305 KB/s          1.015 MB/s         1022.723 MB

        vlan577  in     40.449 MB/s         49.660 MB/s            1.316 GB
                 out   697.020 KB/s        986.322 KB/s          626.063 MB

         vlan64  in    714.449 KB/s        904.077 KB/s            1.272 GB
                 out    11.583 MB/s         15.450 MB/s            1.649 GB

         vlan11  in      9.326 KB/s        367.598 KB/s          192.528 MB
                 out    15.085 KB/s         39.953 KB/s           16.467 MB

            lo0  in      0.000 KB/s         17.242 KB/s            2.123 MB
                 out     0.000 KB/s         17.242 KB/s            2.123 MB

            re0  in      0.000 KB/s          0.000 KB/s            0.059 KB
                 out     0.000 KB/s          0.065 KB/s           58.278 KB

           igb1  in     41.417 MB/s         50.443 MB/s            2.792 GB
                 out     1.251 MB/s          1.693 MB/s            1.610 GB

           igb0  in    723.748 KB/s          1.066 MB/s            1.460 GB
                 out    11.598 MB/s         15.460 MB/s            1.665 GB


Название: Re: Разбил igb0 на valn-ы - скорость абонов упала до 0,3 мбит\с, на передачу до 8
Отправлено: a_eugene от 09 Декабря 2010, 01:06:47
Вопрос закрыт, спасибо Lexx
Код:
sysctl -a |grep igb.0
dev.igb.0.%desc: Intel(R) PRO/1000 Network Connection version - 1.7.4
dev.igb.0.%driver: igb
dev.igb.0.%location: slot=0 function=0
dev.igb.0.%pnpinfo: vendor=0x8086 device=0x10c9 subvendor=0x8086 subdevice=0xa03c class=0x020000
dev.igb.0.%parent: pci1
dev.igb.0.debug: -1
dev.igb.0.stats: -1
dev.igb.0.flow_control: 3
dev.igb.0.enable_aim: 1
dev.igb.0.low_latency: 128
dev.igb.0.ave_latency: 450
dev.igb.0.bulk_latency: 1200
dev.igb.0.rx_processing_limit: 100
Откатились на драйверы 1.7.4


Powered by SMF 1.1.20 | SMF © 2006-2009, Simple Machines