Биллинговая система Nodeny
01 Ноября 2024, 02:01:26 *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.
Вам не пришло письмо с кодом активации?

Войти
Новости: Прекращена поддержка версии Nodeny 49
 
   Начало   Помощь Поиск Войти Регистрация  
Страниц: [1] 2
  Печать  
Автор Тема: Настройка FreeBSD 7.2 на Gigabit Ethernet  (Прочитано 17022 раз)
Andrey Zentavr
NoDeny
Старожил
*

Карма: 29
Offline Offline

Сообщений: 301



Просмотр профиля
« : 08 Ноября 2009, 03:08:11 »

Имеем 2 сервера  - на всех Фря 7.2
gw3 - смотрит на юзверей:
[root@gw3 ~]# uname -a
FreeBSD gw3.serv.linet 7.2-RELEASE-p4 FreeBSD 7.2-RELEASE-p4 #0: Sat Nov  7 20:27:09 EET 2009     root@gw3.serv.linet:/usr/obj/usr/src/sys/LINET-Intel  i386

Драйвер em скачан с сайта Интела - 6.9.20
Цитировать
# less loader.conf
autoboot_delay="2"

kernel="kernel"
bootfile="kernel"

kern.ipc.nmbclusters=16384
kern.ipc.maxsockets=16384
net.graph.maxalloc=2048
kern.maxusers=512
kern.ipc.maxpipekva=32000000

if_lagg_load="YES"
if_em_load="YES"

Цитировать
[root@gw3 /etc]# cat sysctl.conf
kern.polling.enable=1
net.inet.ip.fw.one_pass=1
net.inet.ip.dummynet.hash_size=256
net.inet.ip.dummynet.io_fast=1

net.graph.maxdgram=128000
net.graph.recvspace=128000

net.inet.ip.fastforwarding=1
net.inet.ip.intr_queue_maxlen=5000
kern.ipc.maxsockbuf=8388608
net.inet.tcp.sendspace=3217968
net.inet.tcp.recvspace=3217968
net.inet.tcp.rfc1323=1


Цитировать
Ядро
cpu             I686_CPU
ident           LINET-Intel

options         DEVICE_POLLING
options         HZ=1000

options         NETGRAPH
options         NETGRAPH_ETHER
options         NETGRAPH_TEE
options         NETGRAPH_NETFLOW
options         NETGRAPH_PPTPGRE
options         NETGRAPH_PPP
options         NETGRAPH_SOCKET
options         NETGRAPH_IPFW
options         NETGRAPH_KSOCKET
options         NETGRAPH_IFACE
options         NETGRAPH_TCPMSS
options         NETGRAPH_PPPOE

options         IPFIREWALL
options         IPFIREWALL_FORWARD
options         IPDIVERT
options         IPFILTER
options         DUMMYNET
options         IPFIREWALL_DEFAULT_TO_ACCEPT
#options         IPFIREWALL_NAT
options         LIBALIAS


# To statically compile in device wiring instead of /boot/device.hints
#hints          "GENERIC.hints"         # Default places to look for devices.
# Reboot when panic
options         KDB_UNATTENDED
makeoptions     DEBUG=-g                # Build kernel with gdb(1) debug symbols

#options        SCHED_4BSD              # 4BSD scheduler
options         SCHED_ULE
.......

Железо:
CPU: Intel(R) Core(TM)2 Quad CPU    Q6600  @ 2.40GHz (2396.41-MHz 686-class CPU)
real memory  = 2145361920 (2045 MB)
avail memory = 2093039616 (1996 MB)
Мамка: INTEL  S3200SHC
Сетевые - Intel(R) PRO/1000 Network Connection - двухголовая

Второй - смотрит в инет:
[zentavr@gateway ~]$ uname -a
FreeBSD gateway.linet.zp.ua 7.2-RELEASE-p4 FreeBSD 7.2-RELEASE-p4 #0: Fri Nov  6 18:09:11 EET 2009     root@gateway.linet.zp.ua:/usr/obj/usr/src/sys/NODENY64INTEL  amd64

CPU: Intel(R) Core(TM)2 Quad CPU    Q6600  @ 2.40GHz (2400.09-MHz K8-class CPU)
usable memory = 4284018688 (4085 MB)
avail memory  = 4119355392 (3928 MB)
Сеть - Intel(R) PRO/1000 Network Connection - двухголовая. одна голова в инет, вторая на юзерский сервак.

Цитировать
[zentavr@gateway ~]$ cat /boot/loader.conf
autoboot_delay="2"

kernel="kernel"
bootfile="kernel"

pf_load="YES"
accf_http_load="YES"
geom_mirror_load="YES"
if_em_load="YES"
Драйвер Интел с сайта интела 6.9.20

Цитировать
[zentavr@gateway ~]$ cat /etc/sysctl.conf
net.inet.tcp.log_in_vain=0
net.inet.udp.log_in_vain=0

net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1

net.inet.ip.fw.one_pass=1
net.inet.ip.fw.dyn_buckets=2048
net.inet.ip.portrange.first=2000

net.graph.maxdgram=128000
net.graph.recvspace=128000

net.inet.ip.fastforwarding=1
net.inet.ip.intr_queue_maxlen=5000

kern.ipc.maxsockbuf=8388608
kern.ipc.somaxconn=1024
net.inet.tcp.sendspace=3217968
net.inet.tcp.recvspace=3217968
net.inet.tcp.rfc1323=1

net.inet.ip.dummynet.hash_size=2048
net.inet.ip.dummynet.io_fast=1


Цитировать
Ядро:
cpu             HAMMER
ident           NODENY64

options         DEVICE_POLLING
options         HZ=1000


options         NETGRAPH
options         NETGRAPH_ETHER
options         NETGRAPH_TEE
options         NETGRAPH_NETFLOW
options         NETGRAPH_PPTPGRE
options         NETGRAPH_PPP
options         NETGRAPH_SOCKET
options         NETGRAPH_IPFW
options         NETGRAPH_KSOCKET
options         NETGRAPH_IFACE
options         NETGRAPH_TCPMSS
options         NETGRAPH_PPPOE


options         IPFIREWALL
options         IPFIREWALL_FORWARD
options         IPDIVERT
options         IPFILTER
options         DUMMYNET
options         IPFIREWALL_DEFAULT_TO_ACCEPT
options         IPFIREWALL_NAT
options         LIBALIAS



# Reboot when panic
options         KDB_UNATTENDED

# To statically compile in device wiring instead of /boot/device.hints
#hints          "GENERIC.hints"         # Default places to look for devices.

makeoptions     DEBUG=-g                # Build kernel with gdb(1) debug symbols

options         SCHED_ULE               # ULE scheduler
......

Используется pf NAT

Цитировать
ifU="em1"
ipU="62.221.40.166"
gwU="62.221.40.165"

ifL="em0"

# Nat IPs
natAll="194.126.204.12"
nat24="194.126.204.24"
nat25="194.126.204.25"
nat26="194.126.204.26"
nat28="194.126.204.28"

nat30="194.126.204.30"
nat31="194.126.204.31"
nat32="194.126.204.32"
nat33="194.126.204.33"
nat34="194.126.204.34"

# Tables
table <me> const        { self }
table <rfc_gray>        { 10.0.0.0/8, 169.254.0.0/16, 172.16.0.0/12, 192.168.0.0/16 }
table <linet_all>       { 10.0.0.0/8, 192.168.0.0/16, 194.126.204.0/24 }
table <linet_gray>      { 10.0.0.0/8, 192.168.0.0/16 }
# UserZ
table <linet24> { 10.1.24.0/24 }
table <linet25> { 10.1.25.0/24 }
table <linet26> { 10.1.26.0/24 }
table <linet28> { 10.1.28.0/24 }

table <linet30> { 10.1.30.0/24 }
table <linet31> { 10.1.31.0/24 }
table <linet32> { 10.1.32.0/24 }
table <linet33> { 10.1.33.0/24 }
table <linet34> { 10.1.34.0/24 }

table <linet_srv> {10.0.0.0/8, 192.168.0.0/16 }

set limit states 128000
set optimization aggressive

# Rdr for me Улыбающийся
rdr on $ifU proto tcp from any to $nat32 port 19456 -> 10.1.32.194 port 19456

# Nat Outgoing Connections
nat pass on $ifU from <linet24> to any -> $nat24
nat pass on $ifU from <linet25> to any -> $nat25
nat pass on $ifU from <linet26> to any -> $nat26
nat pass on $ifU from <linet28> to any -> $nat28

nat pass on $ifU from <linet30> to any -> $nat30
nat pass on $ifU from <linet31> to any -> $nat31
nat pass on $ifU from <linet32> to any -> $nat32
nat pass on $ifU from <linet33> to any -> $nat33
nat pass on $ifU from <linet34> to any -> $nat34

nat pass on $ifU from <linet_srv> to any -> $natAll
.....

Проблема в следующем:
аплоад по спидтесту вроде нормальный, а вот даунлоад в 10 раз меньше. До этого на инетовском серваке стоял Линух - траблов не было. По systat -ifstat загрузка канала примерно 60%

Я вот думаю - или я в PCI шину упираюсь по скорости, либо не совсем корректно натюнил фрю.

Поделитесь люди добрые своими параметрами Фряхи как для гигабитного роутера
Записан
Cell
NoDeny
Спец
*

Карма: 52
Offline Offline

Сообщений: 1407



Просмотр профиля
« Ответ #1 : 08 Ноября 2009, 09:46:39 »

а че, со старгайзером уже все?  Подмигивающий
Записан
Andrey Zentavr
NoDeny
Старожил
*

Карма: 29
Offline Offline

Сообщений: 301



Просмотр профиля
« Ответ #2 : 08 Ноября 2009, 11:02:04 »

Не превращаем тему в флуд.
Со старгейзером дело было в другой органзации и уже в принципе всьо.
И с УТМом тоже всё.
Записан
goletsa
NoDeny
Спец
*

Карма: 21
Offline Offline

Сообщений: 973


Просмотр профиля
« Ответ #3 : 08 Ноября 2009, 12:48:19 »

Что подразумевается под двухголовой сетевой? Встроенная?
Записан
elite
Начальник планеты
NoDeny
Спец
*

Карма: 52
Offline Offline

Сообщений: 1226

In LAN we trust!

358714596
Просмотр профиля
« Ответ #4 : 08 Ноября 2009, 18:26:31 »

модель сетевухи?
попробуй поставить дрова от яндекса
попробуй убрать pf
Записан
Andrey Zentavr
NoDeny
Старожил
*

Карма: 29
Offline Offline

Сообщений: 301



Просмотр профиля
« Ответ #5 : 08 Ноября 2009, 20:22:34 »

Что подразумевается под двухголовой сетевой? Встроенная?
Бортовая на серверной мамке: Intel Corporation 82541GI Gigabit Ethernet Controller (rev 05)
3 PCIe внешние: 03:00.1 Ethernet controller: Intel Corporation 82571EB Gigabit Ethernet Controller (rev 06)

попробуй поставить дрова от яндекса
попробуй убрать pf
при ipfw+NAT не ходят трейсроут непосредственно с сервака. Пишут что это имено трабла ipfw.

P.S.: ...конфигов ни у кого нет?
« Последнее редактирование: 08 Ноября 2009, 20:24:25 от Andrey Zentavr » Записан
goletsa
NoDeny
Спец
*

Карма: 21
Offline Offline

Сообщений: 973


Просмотр профиля
« Ответ #6 : 09 Ноября 2009, 03:23:56 »

Хоть бы объемы трафика упомянули.
Записан
VitalVas
NoDeny
Спец
*

Карма: 60
Offline Offline

Сообщений: 991



Просмотр профиля WWW
« Ответ #7 : 09 Ноября 2009, 03:26:05 »

Хоть бы объемы трафика упомянули.
+1
Записан
elite
Начальник планеты
NoDeny
Спец
*

Карма: 52
Offline Offline

Сообщений: 1226

In LAN we trust!

358714596
Просмотр профиля
« Ответ #8 : 09 Ноября 2009, 15:49:27 »

при ipfw+NAT не ходят трейсроут непосредственно с сервака. Пишут что это имено трабла ipfw.
что за бред?

P.S. мы так и не увидели данных о трафике и нагрузке на сервер
P.S.S. лучше просто не отвечать на вопросы к которым не прилагается dmesg, sysctl -a, systat -vmstat, netstat -w1, ipfw sh, pfctl -s info и cat /dev/urandom (c) jab  Улыбающийся
Записан
Andrey Zentavr
NoDeny
Старожил
*

Карма: 29
Offline Offline

Сообщений: 301



Просмотр профиля
« Ответ #9 : 10 Ноября 2009, 00:39:00 »

Хоть бы объемы трафика упомянули.


В инет канал 200Мбит.
Загрузка gw3
Цитировать
last pid: 31827;  load averages:  0.76,  0.78,  0.86                                                                                                                                   up 2+02:45:22  00:24:11
101 processes: 5 running, 79 sleeping, 17 waiting
CPU:  0.0% user,  0.0% nice, 21.1% system,  1.4% interrupt, 77.5% idle
Mem: 164M Active, 232M Inact, 166M Wired, 288K Cache, 112M Buf, 1437M Free
Swap: 4096M Total, 4096M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
   11 root        1 171 ki31     0K     8K CPU3   3  36.3H 87.99% idle: cpu3
   14 root        1 171 ki31     0K     8K CPU0   0  35.5H 87.99% idle: cpu0
   12 root        1 171 ki31     0K     8K RUN    2  38.8H 87.50% idle: cpu2
   13 root        1 171 ki31     0K     8K CPU1   1  34.5H 81.30% idle: cpu1
   44 root        1 -68    -     0K     8K -      1 637:38 17.87% em6 taskq
   51 root        1 -68    -     0K     8K -      3 644:30 16.46% em7 taskq
   32 root        1 -68    -     0K     8K -      2 328:36 12.70% em3 taskq
   30 root        1 -68    -     0K     8K -      0 253:41  5.66% em1 taskq
   34 root        1 -68    -     0K     8K WAIT   0  64:41  2.69% irq18: em7 uhci0+
   31 root        1 -68    -     0K     8K -      1 241:20  0.98% em2 taskq
   29 root        1 -68    -     0K     8K -      3 207:04  0.68% em0 taskq
   16 root        1 -32    -     0K     8K WAIT   3  37:34  0.20% swi4: clock sio
 1935 root        1   8  -15 10524K  8660K nanslp 2  17:41  0.10% perl5.8.8
   57 root        1 -68    -     0K     8K -      0 652:57  0.00% dummynet
   43 root        1 -68    -     0K     8K -      0 261:40  0.00% em5 taskq


Цитировать
# systat -ifstat
    Load Average   ||||

      Interface           Traffic               Peak                Total
            ng9  in    454.677 KB/s        464.963 KB/s            1.905 GB
                 out   623.565 KB/s        625.079 KB/s            3.716 GB

            ng8  in    173.305 KB/s        238.781 KB/s            1.758 GB
                 out     3.854 KB/s          5.032 KB/s            3.312 GB

            ng6  in      1.350 MB/s          1.350 MB/s            1.161 GB
                 out    29.734 KB/s         29.734 KB/s          886.992 MB

            ng5  in    107.610 KB/s        137.763 KB/s            2.691 GB
                 out   563.296 KB/s        595.243 KB/s            3.756 GB

            ng3  in     78.226 KB/s        100.022 KB/s            1.882 GB
                 out    19.645 KB/s         19.875 KB/s          673.976 MB

            ng2  in     58.055 KB/s         76.429 KB/s            2.496 GB
                 out     2.415 KB/s          2.415 KB/s            1.221 GB

            ng1  in      0.000 KB/s          0.175 KB/s           30.291 MB
                 out     0.000 KB/s          0.252 KB/s           37.880 MB

            ng0  in      0.000 KB/s          0.030 KB/s          250.238 MB
                 out     0.000 KB/s          0.027 KB/s            1.949 GB

         vlan28  in    981.503 KB/s          1.053 MB/s            2.490 GB
                 out     1.464 MB/s          2.130 MB/s            2.158 GB

         vlan26  in      3.450 MB/s          3.450 MB/s            3.449 GB
                 out     2.502 MB/s          3.199 MB/s            1.829 GB

         vlan25  in      1.921 MB/s          2.346 MB/s          531.521 MB
                 out     1.584 MB/s          1.727 MB/s            1.550 GB

         vlan24  in      2.858 MB/s          2.871 MB/s            1.137 GB
                 out   781.694 KB/s        809.218 KB/s            1.205 GB

          lagg0  in     13.100 MB/s         14.087 MB/s            2.338 GB
                 out    11.897 MB/s         12.562 MB/s            1.785 GB

            lo0  in      0.015 KB/s          0.101 KB/s           14.643 MB
                 out     0.015 KB/s          0.101 KB/s           14.643 MB

            em7  in      9.187 MB/s          9.380 MB/s            3.594 GB
                 out     6.314 MB/s          7.199 MB/s            2.691 GB

            em6  in     13.043 MB/s         14.039 MB/s            1.202 GB
                 out     5.127 MB/s          5.389 MB/s            1.552 GB

            em5  in     58.665 KB/s         59.943 KB/s            1.161 GB
                 out     6.770 MB/s          7.418 MB/s          246.214 MB

            em4  in    189.786 KB/s        224.110 KB/s            2.064 GB
                 out   832.329 KB/s        897.839 KB/s          582.583 MB

            em3  in      4.640 MB/s          4.640 MB/s          387.866 MB
....

# netstat -m
3400/4550/7950 mbufs in use (current/cache/total)
3398/3520/6918/262144 mbuf clusters in use (current/cache/total/max)
3398/3514 mbuf+clusters out of packet secondary zone in use (current/cache)
0/77/77/16896 4k (page size) jumbo clusters in use (current/cache/total/max)
0/0/0/8448 9k jumbo clusters in use (current/cache/total/max)
0/0/0/4224 16k jumbo clusters in use (current/cache/total/max)
7979K/8485K/16464K bytes allocated to network (current/cache/total)
0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
0/0/0 requests for jumbo clusters denied (4k/9k/16k)
0/7/8704 sfbufs in use (current/peak/max)
0 requests for sfbufs denied
0 requests for sfbufs delayed
0 requests for I/O initiated by sendfile
0 calls to protocol drain routines




на Инет-шлюзе
Цитировать
last pid: 22028;  load averages:  0.52,  0.41,  0.41                                                                                                                                   up 0+20:48:42  00:39:10
141 processes: 5 running, 122 sleeping, 14 waiting
CPU:  0.0% user,  0.0% nice,  3.3% system,  0.0% interrupt, 96.7% idle
Mem: 478M Active, 21M Inact, 325M Wired, 460K Cache, 94M Buf, 3125M Free
Swap: 4096M Total, 4096M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
   11 root        1 171 ki31     0K    16K CPU3   3  20.5H 100.00% idle: cpu3
   12 root        1 171 ki31     0K    16K RUN    2  20.5H 100.00% idle: cpu2
   14 root        1 171 ki31     0K    16K CPU0   0  17.4H 96.24% idle: cpu0
   13 root        1 171 ki31     0K    16K CPU1   1  17.2H 92.04% idle: cpu1
   30 root        1 -68    -     0K    16K -      1 211:14  7.96% em1 taskq
   29 root        1 -68    -     0K    16K -      0 196:52  7.76% em0 taskq
  693 root        1  45    0   150M   144M select 1   3:25  1.32% bgpd
   15 root        1 -32    -     0K    16K WAIT   0  10:03  0.00% swi4: clock
   50 root        1 -68    -     0K    16K -      3   3:20  0.00% dummynet
   18 root        1  44    -     0K    16K -      0   2:37  0.00% yarrow
 6597 bind        7   4    0   245M   200M kqread 2   1:35  0.00% named
   49 root        1   8    -     0K    16K pftm   2   1:04  0.00% pfpurge


#systat -ifstat
                    /0   /1   /2   /3   /4   /5   /6   /7   /8   /9   /10
     Load Average   |

      Interface           Traffic               Peak                Total
            lo0  in      0.000 KB/s          0.000 KB/s            1.884 MB
                 out     0.000 KB/s          0.000 KB/s            1.884 MB

            em2  in      1.408 KB/s          1.408 KB/s          155.208 MB
                 out     0.331 KB/s          0.331 KB/s           23.300 MB

            em1  in      6.907 MB/s          6.907 MB/s          845.625 GB
                 out     2.921 MB/s          2.921 MB/s          595.124 GB

[root@gateway ~]# netstat -m
776/2434/3210 mbufs in use (current/cache/total)
772/1182/1954/25600 mbuf clusters in use (current/cache/total/max)
772/892 mbuf+clusters out of packet secondary zone in use (current/cache)
0/90/90/12800 4k (page size) jumbo clusters in use (current/cache/total/max)
0/0/0/6400 9k jumbo clusters in use (current/cache/total/max)
0/0/0/3200 16k jumbo clusters in use (current/cache/total/max)
1738K/3332K/5070K bytes allocated to network (current/cache/total)
0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
0/0/0 requests for jumbo clusters denied (4k/9k/16k)
0/0/0 sfbufs in use (current/peak/max)
0 requests for sfbufs denied
0 requests for sfbufs delayed
83 requests for I/O initiated by sendfile
0 calls to protocol drain routines



Полпервого, народ наверное спит.


Раскачать инет доводилось до 23Мбайт/сек (сетевая em1). Кочегарили втроём с разных подсетей торрентами с0дэя без шейпов.
Записан
VitalVas
NoDeny
Спец
*

Карма: 60
Offline Offline

Сообщений: 991



Просмотр профиля WWW
« Ответ #10 : 10 Ноября 2009, 02:06:46 »

нах тебе столько вланов и сетевых карт???
что каждому подключенному дому по порту или по влану на серваке??
P.S. я несплю до 3 ночи
P.S.1 а что до 25 мбайт/с немогли??
Записан
goletsa
NoDeny
Спец
*

Карма: 21
Offline Offline

Сообщений: 973


Просмотр профиля
« Ответ #11 : 10 Ноября 2009, 06:44:56 »

нах тебе столько вланов и сетевых карт???
что каждому подключенному дому по порту или по влану на серваке??
P.S. я несплю до 3 ночи
P.S.1 а что до 25 мбайт/с немогли??

У мну виланов побольше будет.
А сетевые карты дело нелишнее.
Улыбающийся
ЗЫ: До 300Мбит трафика мне хватало обычного включения полинга.
Записан
Andrey Zentavr
NoDeny
Старожил
*

Карма: 29
Offline Offline

Сообщений: 301



Просмотр профиля
« Ответ #12 : 10 Ноября 2009, 09:01:21 »

нах тебе столько вланов и сетевых карт???
что каждому подключенному дому по порту или по влану на серваке??
P.S. я несплю до 3 ночи
P.S.1 а что до 25 мбайт/с немогли??
с каждой карточки гигабит оптикой уходит в свою подсеть. нет, не по дому уходит, но по нескольким домам - да. От 4х до 10. Вланы появились после смерти другого шлюза, загнали их все в одну из карт. Раньше они были в транке, но с Фрёй 7.2 Это работать перестало (до этого стояла 7.0)

А касаемо 25 Мбайт - примерно так и было +/- 2
Записан
goletsa
NoDeny
Спец
*

Карма: 21
Offline Offline

Сообщений: 973


Просмотр профиля
« Ответ #13 : 10 Ноября 2009, 11:01:09 »

Раньше они были в транке, но с Фрёй 7.2 Это работать перестало (до этого стояла 7.0)
Всмысле. Работа транка зависит от свича а не от версии фри. Хотя возможно у вас в ядре после обновления выключилась поддержка виланов.
Записан
Andrey Zentavr
NoDeny
Старожил
*

Карма: 29
Offline Offline

Сообщений: 301



Просмотр профиля
« Ответ #14 : 10 Ноября 2009, 13:14:57 »

Свитч не трогал, lagg0 работает по протоколу LACP. Не работают через него вланы. Но суть не в этом.
Вопрос: поделитесь конфигами своих GW и описанием железа.
Записан
Страниц: [1] 2
  Печать  
 
Перейти в:  

Powered by MySQL Powered by PHP Powered by SMF 1.1.20 | SMF © 2006-2009, Simple Machines Valid XHTML 1.0! Valid CSS!