|
Название: Настройка FreeBSD 7.2 на Gigabit Ethernet Отправлено: Andrey Zentavr от 08 Ноября 2009, 03:08:11 Имеем 2 сервера - на всех Фря 7.2
gw3 - смотрит на юзверей: [root@gw3 ~]# uname -a FreeBSD gw3.serv.linet 7.2-RELEASE-p4 FreeBSD 7.2-RELEASE-p4 #0: Sat Nov 7 20:27:09 EET 2009 root@gw3.serv.linet:/usr/obj/usr/src/sys/LINET-Intel i386 Драйвер em скачан с сайта Интела - 6.9.20 Цитировать # less loader.conf autoboot_delay="2" kernel="kernel" bootfile="kernel" kern.ipc.nmbclusters=16384 kern.ipc.maxsockets=16384 net.graph.maxalloc=2048 kern.maxusers=512 kern.ipc.maxpipekva=32000000 if_lagg_load="YES" if_em_load="YES" Цитировать [root@gw3 /etc]# cat sysctl.conf kern.polling.enable=1 net.inet.ip.fw.one_pass=1 net.inet.ip.dummynet.hash_size=256 net.inet.ip.dummynet.io_fast=1 net.graph.maxdgram=128000 net.graph.recvspace=128000 net.inet.ip.fastforwarding=1 net.inet.ip.intr_queue_maxlen=5000 kern.ipc.maxsockbuf=8388608 net.inet.tcp.sendspace=3217968 net.inet.tcp.recvspace=3217968 net.inet.tcp.rfc1323=1 Цитировать Ядро cpu I686_CPU ident LINET-Intel options DEVICE_POLLING options HZ=1000 options NETGRAPH options NETGRAPH_ETHER options NETGRAPH_TEE options NETGRAPH_NETFLOW options NETGRAPH_PPTPGRE options NETGRAPH_PPP options NETGRAPH_SOCKET options NETGRAPH_IPFW options NETGRAPH_KSOCKET options NETGRAPH_IFACE options NETGRAPH_TCPMSS options NETGRAPH_PPPOE options IPFIREWALL options IPFIREWALL_FORWARD options IPDIVERT options IPFILTER options DUMMYNET options IPFIREWALL_DEFAULT_TO_ACCEPT #options IPFIREWALL_NAT options LIBALIAS # To statically compile in device wiring instead of /boot/device.hints #hints "GENERIC.hints" # Default places to look for devices. # Reboot when panic options KDB_UNATTENDED makeoptions DEBUG=-g # Build kernel with gdb(1) debug symbols #options SCHED_4BSD # 4BSD scheduler options SCHED_ULE ....... Железо: CPU: Intel(R) Core(TM)2 Quad CPU Q6600 @ 2.40GHz (2396.41-MHz 686-class CPU) real memory = 2145361920 (2045 MB) avail memory = 2093039616 (1996 MB) Мамка: INTEL S3200SHC Сетевые - Intel(R) PRO/1000 Network Connection - двухголовая Второй - смотрит в инет: [zentavr@gateway ~]$ uname -a FreeBSD gateway.linet.zp.ua 7.2-RELEASE-p4 FreeBSD 7.2-RELEASE-p4 #0: Fri Nov 6 18:09:11 EET 2009 root@gateway.linet.zp.ua:/usr/obj/usr/src/sys/NODENY64INTEL amd64 CPU: Intel(R) Core(TM)2 Quad CPU Q6600 @ 2.40GHz (2400.09-MHz K8-class CPU) usable memory = 4284018688 (4085 MB) avail memory = 4119355392 (3928 MB) Сеть - Intel(R) PRO/1000 Network Connection - двухголовая. одна голова в инет, вторая на юзерский сервак. Цитировать [zentavr@gateway ~]$ cat /boot/loader.conf Драйвер Интел с сайта интела 6.9.20autoboot_delay="2" kernel="kernel" bootfile="kernel" pf_load="YES" accf_http_load="YES" geom_mirror_load="YES" if_em_load="YES" Цитировать [zentavr@gateway ~]$ cat /etc/sysctl.conf net.inet.tcp.log_in_vain=0 net.inet.udp.log_in_vain=0 net.inet.tcp.blackhole=2 net.inet.udp.blackhole=1 net.inet.ip.fw.one_pass=1 net.inet.ip.fw.dyn_buckets=2048 net.inet.ip.portrange.first=2000 net.graph.maxdgram=128000 net.graph.recvspace=128000 net.inet.ip.fastforwarding=1 net.inet.ip.intr_queue_maxlen=5000 kern.ipc.maxsockbuf=8388608 kern.ipc.somaxconn=1024 net.inet.tcp.sendspace=3217968 net.inet.tcp.recvspace=3217968 net.inet.tcp.rfc1323=1 net.inet.ip.dummynet.hash_size=2048 net.inet.ip.dummynet.io_fast=1 Цитировать Ядро: cpu HAMMER ident NODENY64 options DEVICE_POLLING options HZ=1000 options NETGRAPH options NETGRAPH_ETHER options NETGRAPH_TEE options NETGRAPH_NETFLOW options NETGRAPH_PPTPGRE options NETGRAPH_PPP options NETGRAPH_SOCKET options NETGRAPH_IPFW options NETGRAPH_KSOCKET options NETGRAPH_IFACE options NETGRAPH_TCPMSS options NETGRAPH_PPPOE options IPFIREWALL options IPFIREWALL_FORWARD options IPDIVERT options IPFILTER options DUMMYNET options IPFIREWALL_DEFAULT_TO_ACCEPT options IPFIREWALL_NAT options LIBALIAS # Reboot when panic options KDB_UNATTENDED # To statically compile in device wiring instead of /boot/device.hints #hints "GENERIC.hints" # Default places to look for devices. makeoptions DEBUG=-g # Build kernel with gdb(1) debug symbols options SCHED_ULE # ULE scheduler ...... Используется pf NAT Цитировать ifU="em1" ipU="62.221.40.166" gwU="62.221.40.165" ifL="em0" # Nat IPs natAll="194.126.204.12" nat24="194.126.204.24" nat25="194.126.204.25" nat26="194.126.204.26" nat28="194.126.204.28" nat30="194.126.204.30" nat31="194.126.204.31" nat32="194.126.204.32" nat33="194.126.204.33" nat34="194.126.204.34" # Tables table <me> const { self } table <rfc_gray> { 10.0.0.0/8, 169.254.0.0/16, 172.16.0.0/12, 192.168.0.0/16 } table <linet_all> { 10.0.0.0/8, 192.168.0.0/16, 194.126.204.0/24 } table <linet_gray> { 10.0.0.0/8, 192.168.0.0/16 } # UserZ table <linet24> { 10.1.24.0/24 } table <linet25> { 10.1.25.0/24 } table <linet26> { 10.1.26.0/24 } table <linet28> { 10.1.28.0/24 } table <linet30> { 10.1.30.0/24 } table <linet31> { 10.1.31.0/24 } table <linet32> { 10.1.32.0/24 } table <linet33> { 10.1.33.0/24 } table <linet34> { 10.1.34.0/24 } table <linet_srv> {10.0.0.0/8, 192.168.0.0/16 } set limit states 128000 set optimization aggressive # Rdr for me :) rdr on $ifU proto tcp from any to $nat32 port 19456 -> 10.1.32.194 port 19456 # Nat Outgoing Connections nat pass on $ifU from <linet24> to any -> $nat24 nat pass on $ifU from <linet25> to any -> $nat25 nat pass on $ifU from <linet26> to any -> $nat26 nat pass on $ifU from <linet28> to any -> $nat28 nat pass on $ifU from <linet30> to any -> $nat30 nat pass on $ifU from <linet31> to any -> $nat31 nat pass on $ifU from <linet32> to any -> $nat32 nat pass on $ifU from <linet33> to any -> $nat33 nat pass on $ifU from <linet34> to any -> $nat34 nat pass on $ifU from <linet_srv> to any -> $natAll ..... Проблема в следующем: аплоад по спидтесту вроде нормальный, а вот даунлоад в 10 раз меньше. До этого на инетовском серваке стоял Линух - траблов не было. По systat -ifstat загрузка канала примерно 60% Я вот думаю - или я в PCI шину упираюсь по скорости, либо не совсем корректно натюнил фрю. Поделитесь люди добрые своими параметрами Фряхи как для гигабитного роутера Название: Re: Настройка FreeBSD 7.2 на Gigabit Ethernet Отправлено: Cell от 08 Ноября 2009, 09:46:39 а че, со старгайзером уже все? ;)
Название: Re: Настройка FreeBSD 7.2 на Gigabit Ethernet Отправлено: Andrey Zentavr от 08 Ноября 2009, 11:02:04 Не превращаем тему в флуд.
Со старгейзером дело было в другой органзации и уже в принципе всьо. И с УТМом тоже всё. Название: Re: Настройка FreeBSD 7.2 на Gigabit Ethernet Отправлено: goletsa от 08 Ноября 2009, 12:48:19 Что подразумевается под двухголовой сетевой? Встроенная?
Название: Re: Настройка FreeBSD 7.2 на Gigabit Ethernet Отправлено: elite от 08 Ноября 2009, 18:26:31 модель сетевухи?
попробуй поставить дрова от яндекса попробуй убрать pf Название: Re: Настройка FreeBSD 7.2 на Gigabit Ethernet Отправлено: Andrey Zentavr от 08 Ноября 2009, 20:22:34 Что подразумевается под двухголовой сетевой? Встроенная? Бортовая на серверной мамке: Intel Corporation 82541GI Gigabit Ethernet Controller (rev 05)3 PCIe внешние: 03:00.1 Ethernet controller: Intel Corporation 82571EB Gigabit Ethernet Controller (rev 06) попробуй поставить дрова от яндекса при ipfw+NAT не ходят трейсроут непосредственно с сервака. Пишут что это имено трабла ipfw.попробуй убрать pf P.S.: ...конфигов ни у кого нет? Название: Re: Настройка FreeBSD 7.2 на Gigabit Ethernet Отправлено: goletsa от 09 Ноября 2009, 03:23:56 Хоть бы объемы трафика упомянули.
Название: Re: Настройка FreeBSD 7.2 на Gigabit Ethernet Отправлено: VitalVas от 09 Ноября 2009, 03:26:05 Хоть бы объемы трафика упомянули. +1Название: Re: Настройка FreeBSD 7.2 на Gigabit Ethernet Отправлено: elite от 09 Ноября 2009, 15:49:27 при ipfw+NAT не ходят трейсроут непосредственно с сервака. Пишут что это имено трабла ipfw. что за бред?P.S. мы так и не увидели данных о трафике и нагрузке на сервер P.S.S. лучше просто не отвечать на вопросы к которым не прилагается dmesg, sysctl -a, systat -vmstat, netstat -w1, ipfw sh, pfctl -s info и cat /dev/urandom (c) jab :) Название: Re: Настройка FreeBSD 7.2 на Gigabit Ethernet Отправлено: Andrey Zentavr от 10 Ноября 2009, 00:39:00 Хоть бы объемы трафика упомянули. В инет канал 200Мбит. Загрузка gw3 Цитировать last pid: 31827; load averages: 0.76, 0.78, 0.86 up 2+02:45:22 00:24:11 101 processes: 5 running, 79 sleeping, 17 waiting CPU: 0.0% user, 0.0% nice, 21.1% system, 1.4% interrupt, 77.5% idle Mem: 164M Active, 232M Inact, 166M Wired, 288K Cache, 112M Buf, 1437M Free Swap: 4096M Total, 4096M Free PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND 11 root 1 171 ki31 0K 8K CPU3 3 36.3H 87.99% idle: cpu3 14 root 1 171 ki31 0K 8K CPU0 0 35.5H 87.99% idle: cpu0 12 root 1 171 ki31 0K 8K RUN 2 38.8H 87.50% idle: cpu2 13 root 1 171 ki31 0K 8K CPU1 1 34.5H 81.30% idle: cpu1 44 root 1 -68 - 0K 8K - 1 637:38 17.87% em6 taskq 51 root 1 -68 - 0K 8K - 3 644:30 16.46% em7 taskq 32 root 1 -68 - 0K 8K - 2 328:36 12.70% em3 taskq 30 root 1 -68 - 0K 8K - 0 253:41 5.66% em1 taskq 34 root 1 -68 - 0K 8K WAIT 0 64:41 2.69% irq18: em7 uhci0+ 31 root 1 -68 - 0K 8K - 1 241:20 0.98% em2 taskq 29 root 1 -68 - 0K 8K - 3 207:04 0.68% em0 taskq 16 root 1 -32 - 0K 8K WAIT 3 37:34 0.20% swi4: clock sio 1935 root 1 8 -15 10524K 8660K nanslp 2 17:41 0.10% perl5.8.8 57 root 1 -68 - 0K 8K - 0 652:57 0.00% dummynet 43 root 1 -68 - 0K 8K - 0 261:40 0.00% em5 taskq Цитировать # systat -ifstat Load Average |||| Interface Traffic Peak Total ng9 in 454.677 KB/s 464.963 KB/s 1.905 GB out 623.565 KB/s 625.079 KB/s 3.716 GB ng8 in 173.305 KB/s 238.781 KB/s 1.758 GB out 3.854 KB/s 5.032 KB/s 3.312 GB ng6 in 1.350 MB/s 1.350 MB/s 1.161 GB out 29.734 KB/s 29.734 KB/s 886.992 MB ng5 in 107.610 KB/s 137.763 KB/s 2.691 GB out 563.296 KB/s 595.243 KB/s 3.756 GB ng3 in 78.226 KB/s 100.022 KB/s 1.882 GB out 19.645 KB/s 19.875 KB/s 673.976 MB ng2 in 58.055 KB/s 76.429 KB/s 2.496 GB out 2.415 KB/s 2.415 KB/s 1.221 GB ng1 in 0.000 KB/s 0.175 KB/s 30.291 MB out 0.000 KB/s 0.252 KB/s 37.880 MB ng0 in 0.000 KB/s 0.030 KB/s 250.238 MB out 0.000 KB/s 0.027 KB/s 1.949 GB vlan28 in 981.503 KB/s 1.053 MB/s 2.490 GB out 1.464 MB/s 2.130 MB/s 2.158 GB vlan26 in 3.450 MB/s 3.450 MB/s 3.449 GB out 2.502 MB/s 3.199 MB/s 1.829 GB vlan25 in 1.921 MB/s 2.346 MB/s 531.521 MB out 1.584 MB/s 1.727 MB/s 1.550 GB vlan24 in 2.858 MB/s 2.871 MB/s 1.137 GB out 781.694 KB/s 809.218 KB/s 1.205 GB lagg0 in 13.100 MB/s 14.087 MB/s 2.338 GB out 11.897 MB/s 12.562 MB/s 1.785 GB lo0 in 0.015 KB/s 0.101 KB/s 14.643 MB out 0.015 KB/s 0.101 KB/s 14.643 MB em7 in 9.187 MB/s 9.380 MB/s 3.594 GB out 6.314 MB/s 7.199 MB/s 2.691 GB em6 in 13.043 MB/s 14.039 MB/s 1.202 GB out 5.127 MB/s 5.389 MB/s 1.552 GB em5 in 58.665 KB/s 59.943 KB/s 1.161 GB out 6.770 MB/s 7.418 MB/s 246.214 MB em4 in 189.786 KB/s 224.110 KB/s 2.064 GB out 832.329 KB/s 897.839 KB/s 582.583 MB em3 in 4.640 MB/s 4.640 MB/s 387.866 MB .... # netstat -m 3400/4550/7950 mbufs in use (current/cache/total) 3398/3520/6918/262144 mbuf clusters in use (current/cache/total/max) 3398/3514 mbuf+clusters out of packet secondary zone in use (current/cache) 0/77/77/16896 4k (page size) jumbo clusters in use (current/cache/total/max) 0/0/0/8448 9k jumbo clusters in use (current/cache/total/max) 0/0/0/4224 16k jumbo clusters in use (current/cache/total/max) 7979K/8485K/16464K bytes allocated to network (current/cache/total) 0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters) 0/0/0 requests for jumbo clusters denied (4k/9k/16k) 0/7/8704 sfbufs in use (current/peak/max) 0 requests for sfbufs denied 0 requests for sfbufs delayed 0 requests for I/O initiated by sendfile 0 calls to protocol drain routines на Инет-шлюзе Цитировать last pid: 22028; load averages: 0.52, 0.41, 0.41 up 0+20:48:42 00:39:10 141 processes: 5 running, 122 sleeping, 14 waiting CPU: 0.0% user, 0.0% nice, 3.3% system, 0.0% interrupt, 96.7% idle Mem: 478M Active, 21M Inact, 325M Wired, 460K Cache, 94M Buf, 3125M Free Swap: 4096M Total, 4096M Free PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND 11 root 1 171 ki31 0K 16K CPU3 3 20.5H 100.00% idle: cpu3 12 root 1 171 ki31 0K 16K RUN 2 20.5H 100.00% idle: cpu2 14 root 1 171 ki31 0K 16K CPU0 0 17.4H 96.24% idle: cpu0 13 root 1 171 ki31 0K 16K CPU1 1 17.2H 92.04% idle: cpu1 30 root 1 -68 - 0K 16K - 1 211:14 7.96% em1 taskq 29 root 1 -68 - 0K 16K - 0 196:52 7.76% em0 taskq 693 root 1 45 0 150M 144M select 1 3:25 1.32% bgpd 15 root 1 -32 - 0K 16K WAIT 0 10:03 0.00% swi4: clock 50 root 1 -68 - 0K 16K - 3 3:20 0.00% dummynet 18 root 1 44 - 0K 16K - 0 2:37 0.00% yarrow 6597 bind 7 4 0 245M 200M kqread 2 1:35 0.00% named 49 root 1 8 - 0K 16K pftm 2 1:04 0.00% pfpurge #systat -ifstat /0 /1 /2 /3 /4 /5 /6 /7 /8 /9 /10 Load Average | Interface Traffic Peak Total lo0 in 0.000 KB/s 0.000 KB/s 1.884 MB out 0.000 KB/s 0.000 KB/s 1.884 MB em2 in 1.408 KB/s 1.408 KB/s 155.208 MB out 0.331 KB/s 0.331 KB/s 23.300 MB em1 in 6.907 MB/s 6.907 MB/s 845.625 GB out 2.921 MB/s 2.921 MB/s 595.124 GB [root@gateway ~]# netstat -m 776/2434/3210 mbufs in use (current/cache/total) 772/1182/1954/25600 mbuf clusters in use (current/cache/total/max) 772/892 mbuf+clusters out of packet secondary zone in use (current/cache) 0/90/90/12800 4k (page size) jumbo clusters in use (current/cache/total/max) 0/0/0/6400 9k jumbo clusters in use (current/cache/total/max) 0/0/0/3200 16k jumbo clusters in use (current/cache/total/max) 1738K/3332K/5070K bytes allocated to network (current/cache/total) 0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters) 0/0/0 requests for jumbo clusters denied (4k/9k/16k) 0/0/0 sfbufs in use (current/peak/max) 0 requests for sfbufs denied 0 requests for sfbufs delayed 83 requests for I/O initiated by sendfile 0 calls to protocol drain routines Полпервого, народ наверное спит. Раскачать инет доводилось до 23Мбайт/сек (сетевая em1). Кочегарили втроём с разных подсетей торрентами с0дэя без шейпов. Название: Re: Настройка FreeBSD 7.2 на Gigabit Ethernet Отправлено: VitalVas от 10 Ноября 2009, 02:06:46 нах тебе столько вланов и сетевых карт???
что каждому подключенному дому по порту или по влану на серваке?? P.S. я несплю до 3 ночи P.S.1 а что до 25 мбайт/с немогли?? Название: Re: Настройка FreeBSD 7.2 на Gigabit Ethernet Отправлено: goletsa от 10 Ноября 2009, 06:44:56 нах тебе столько вланов и сетевых карт??? что каждому подключенному дому по порту или по влану на серваке?? P.S. я несплю до 3 ночи P.S.1 а что до 25 мбайт/с немогли?? У мну виланов побольше будет. А сетевые карты дело нелишнее. :) ЗЫ: До 300Мбит трафика мне хватало обычного включения полинга. Название: Re: Настройка FreeBSD 7.2 на Gigabit Ethernet Отправлено: Andrey Zentavr от 10 Ноября 2009, 09:01:21 нах тебе столько вланов и сетевых карт??? с каждой карточки гигабит оптикой уходит в свою подсеть. нет, не по дому уходит, но по нескольким домам - да. От 4х до 10. Вланы появились после смерти другого шлюза, загнали их все в одну из карт. Раньше они были в транке, но с Фрёй 7.2 Это работать перестало (до этого стояла 7.0)что каждому подключенному дому по порту или по влану на серваке?? P.S. я несплю до 3 ночи P.S.1 а что до 25 мбайт/с немогли?? А касаемо 25 Мбайт - примерно так и было +/- 2 Название: Re: Настройка FreeBSD 7.2 на Gigabit Ethernet Отправлено: goletsa от 10 Ноября 2009, 11:01:09 Раньше они были в транке, но с Фрёй 7.2 Это работать перестало (до этого стояла 7.0) Всмысле. Работа транка зависит от свича а не от версии фри. Хотя возможно у вас в ядре после обновления выключилась поддержка виланов.Название: Re: Настройка FreeBSD 7.2 на Gigabit Ethernet Отправлено: Andrey Zentavr от 10 Ноября 2009, 13:14:57 Свитч не трогал, lagg0 работает по протоколу LACP. Не работают через него вланы. Но суть не в этом.
Вопрос: поделитесь конфигами своих GW и описанием железа. Название: Re: Настройка FreeBSD 7.2 на Gigabit Ethernet Отправлено: goletsa от 11 Ноября 2009, 18:27:20 Для интела можно еще количество дескрипторов увеличить:
Код: hw.em.rxd В loader.conf вписать строчки типа: Код: hw.em.rxd=1024 Название: Re: Настройка FreeBSD 7.2 на Gigabit Ethernet Отправлено: goletsa от 11 Ноября 2009, 18:37:54 Intel SR1530SH, Core2Quad Q9550, интегрированная сеть
Код: last pid: 60446; load averages: 1.76, 1.67, 1.59 up 1+10:07:30 19:32:03 Код: netstat -w1 Код: netstat -m Код: /0 /1 /2 /3 /4 /5 /6 /7 /8 /9 /10 Код: cat /boot/loader.conf Полинга нету. шейпер(ifpw) + nat(pf) + ipcad PS: Включение net.inet.ip.dummynet.io_fast=1: Код: netstat -w1 Название: Re: Настройка FreeBSD 7.2 на Gigabit Ethernet Отправлено: Andrey Zentavr от 14 Ноября 2009, 02:30:29 goletsa, какой у тебя трафик через серв ходит? Мегабит 400?
P.S.: Собрал ядро 7.2-р4 без поллинга, с драйверами Яндекса. За аптайм 6ч34м на инетовском серваке имеем такое: Цитировать [root@gateway ~]# netstat -wl Name Mtu Network Address Ipkts Ierrs Opkts Oerrs Coll em0 1500 <Link#1> 00:15:17:8e:ec:66 408632991 0 372065517 0 0 em0 1500 10.1.10.0 gate.serv.linet 110807 - 740015 - - em1 1500 <Link#2> 00:15:17:8e:ec:67 380509624 0 406253247 0 0 em1 1500 62.221.40.164 gw.zaporozh 405472 - 606253 - - em2 1500 <Link#3> 00:0e:0c:a1:da:97 17343 0 35443 0 0 em2 1500 194.126.204.0 inet.serv. 29542 - 228 - - em2 1500 194.126.204.0 mx 1340 - 0 - - em2 1500 194.126.204.0 www 58364 - 0 - - em2 1500 194.126.204.0 ntp.serv 869 - 0 - - em2 1500 194.126.204.0 irc 55055 - 22 - - em2 1500 194.126.204.0 mail 645 - 0 - - em2 1500 194.126.204.0 dns.serv 555510 - 2898 - - em2 1500 194.126.204.0 gw.serv 761 - 0 - - em2 1500 194.126.204.0 nat 14802 - 0 - - em2 1500 194.126.204.0 nat-24-serv 1035433 - 1190 - - em2 1500 194.126.204.0 nat-25-serv 863354 - 294 - - em2 1500 194.126.204.0 nat-26-serv 1599447 - 415 - - em2 1500 194.126.204.0 nat-28-serv 518434 - 56 - - em2 1500 194.126.204.0 nat-30-serv 935988 - 102 - - em2 1500 194.126.204.0 nat-31-serv 1466718 - 112 - - em2 1500 194.126.204.0 nat-32-serv 1030125 - 343 - - em2 1500 194.126.204.0 nat-33-serv 1624306 - 184 - - em2 1500 194.126.204.0 nat-34-serv 199893 - 112 - - lo0 16384 <Link#4> 20535 0 20534 0 0 lo0 16384 fe80:4::1 fe80:4::1 0 - 0 - - lo0 16384 localhost ::1 470 - 470 - - lo0 16384 your-net localhost 14025 - 14069 - - Ошибок на интерфейсе нет ни входящих не исходящих. Переваял pf+NAT на ipfw+kernel_NAT. Понаблюдаем пару днёв. Название: Re: Настройка FreeBSD 7.2 на Gigabit Ethernet Отправлено: goletsa от 15 Ноября 2009, 17:44:48 netstat -w1 в пик можете у вас показать?
У мну при количестве пакетов за 120000 начинаются ошибки на интерфейсах. Название: Re: Настройка FreeBSD 7.2 на Gigabit Ethernet Отправлено: Andrey Zentavr от 16 Ноября 2009, 02:46:58 netstat -w1 в пик можете у вас показать? На Инет-роутере netstat -wl (Эль вконце с момента пересборки кернелла ошибок не показвает)У мну при количестве пакетов за 120000 начинаются ошибки на интерфейсах. Цитировать [root@gateway ~/cvsup]# netstat -wl Name Mtu Network Address Ipkts Ierrs Opkts Oerrs Coll em0 1500 <Link#1> 00:15:17:8e:ec:66 2961171145 0 2775300664 0 0 em0 1500 10.1.10.0 gate.serv.linet 661206 - 4841143 - - em1 1500 <Link#2> 00:15:17:8e:ec:67 2836851959 0 2948467155 0 0 em1 1500 62.221.40.164 linet-gw.zaporozh 2548631 - 4228630 - - em2 1500 <Link#3> 00:0e:0c:a1:da:97 606251 0 620808 0 0 em2 1500 194.126.204.0 inet.serv 221852 - 248 - - em2 1500 194.126.204.0 mx 10873 - 0 - - em2 1500 194.126.204.0 www 389538 - 0 - - em2 1500 194.126.204.0 ntp.serv 5131 - 0 - - em2 1500 194.126.204.0 irc 379516 - 22 - - em2 1500 194.126.204.0 mail 4410 - 0 - - em2 1500 194.126.204.0 dns.serv.linet 3745212 - 2985 - - em2 1500 194.126.204.0 gw.serv.linet 4753 - 0 - - em2 1500 194.126.204.0 nat 122650 - 0 - - em2 1500 194.126.204.0 nat-24-serv 6689158 - 1190 - - em2 1500 194.126.204.0 nat-25-serv 5944705 - 294 - - em2 1500 194.126.204.0 nat-26-serv 10155419 - 415 - - em2 1500 194.126.204.0 nat-28-serv 4324083 - 56 - - em2 1500 194.126.204.0 nat-30-serv 7838622 - 102 - - em2 1500 194.126.204.0 nat-31-serv 7589548 - 112 - - em2 1500 194.126.204.0 nat-32-serv 8277900 - 343 - - em2 1500 194.126.204.0 nat-33-serv 12320924 - 184 - - em2 1500 194.126.204.0 nat-34-serv 1656795 - 112 - - lo0 16384 <Link#4> 131534 0 131530 0 0 lo0 16384 fe80:4::1 fe80:4::1 0 - 0 - - lo0 16384 localhost ::1 108281 - 108274 - - lo0 16384 your-net localhost 16778 - 16823 - - [root@gateway ~/cvsup]# uptime 2:45AM up 2 days, 6:51, 1 user, load averages: 0.34, 0.30, 0.26 На шлюзе, который смотрит юзерам немножко есть. Загрузка сети: Название: Re: Настройка FreeBSD 7.2 на Gigabit Ethernet Отправлено: goletsa от 16 Ноября 2009, 06:24:12 Именно -w1 (не L а число один) можете показать?
Там с интервалом в секунду пишет количетво пакетов. Хотя судя по графикам трафик не особо большой. Название: Re: Настройка FreeBSD 7.2 на Gigabit Ethernet Отправлено: Andrey Zentavr от 17 Ноября 2009, 18:52:18 Примерно такая ситуация к 19.00 - почти пик. Сервер, смотрит на юзеров
Код: input (Total) output В это же время на инетовском шлюзе Код: [root@gateway ~]# netstat -w1 Название: Re: Настройка FreeBSD 7.2 на Gigabit Ethernet Отправлено: Andrey Zentavr от 17 Ноября 2009, 19:21:18 Провёл эксперимент: отключил ФТПшники и торрент-трекер - PPS упал с 160k до 80k. Включил торрент - PPS = 90...100k.
Включил ФТПшники - сразу выросло к 150...160k. Цитировать 91518 0 69622357 91387 0 66001553 0 90859 0 69966174 90159 0 66275186 0 89241 1 68130077 89538 0 64129697 0 87718 0 67124576 87125 0 62970428 0 91083 0 70143545 91300 0 65421206 0 89672 0 67893820 89232 0 63949789 0 94079 0 69280426 93369 0 65354056 0 91175 0 67392080 90402 0 63841287 0 93267 0 68246403 93170 0 65118383 0 89904 0 67591862 90312 0 64083029 0 90336 0 66137028 89516 0 63271654 0 88868 0 67290994 88339 0 63839852 0 94192 0 71304157 93834 0 67230203 0 92921 0 68974991 92442 0 64930334 0 90475 0 68294179 91000 0 65539641 0 93406 0 70290733 94381 0 67706745 0 88837 0 67203614 88374 0 64317878 0 input (Total) output packets errs bytes packets errs bytes colls 93993 0 70835422 92988 0 66959421 0 91998 0 67787822 93637 0 64721803 0 92288 0 67367028 92600 0 64914910 0 88173 0 65895440 87275 0 63477996 0 92760 0 69873115 93415 0 67393490 0 91763 0 68571404 91987 0 65691232 0 91113 0 68135194 91674 0 65351262 0 92014 0 70740243 92061 0 66946996 0 90839 0 68486907 90773 0 65419764 0 94312 0 70992973 96072 0 69608002 0 89928 0 67193341 90519 0 64947713 0 86592 0 65820955 86359 0 62846447 0 90410 0 69759747 90910 0 65621849 0 90234 0 69322228 89636 0 65220443 0 92695 0 69941293 93186 0 67505935 0 94104 0 71688521 92686 0 66526089 0 93748 0 72205226 93871 0 68010113 0 88167 0 67680454 87951 0 64244335 0 88994 0 66733291 89855 0 64064365 0 4292910998 0 2919967481 4292396192 0 2151621017 0 90092 0 69334883 89134 0 65937667 0 input (Total) output packets errs bytes packets errs bytes colls 95926 0 74970361 94555 0 68585381 0 90431 0 68691194 90537 0 65165426 0 93255 0 72584043 92164 0 67287883 0 88101 0 67819410 88323 0 63902405 0 90857 0 70278775 91962 0 66999487 0 90257 0 68978021 89409 0 65079497 0 88343 0 68025526 87970 0 65175514 0 88394 0 67800293 88057 0 64568281 0 88461 0 68030170 88906 0 64805970 0 89539 0 69097246 89844 0 65126692 0 90337 0 69079794 89877 0 65967295 0 88465 0 66966738 88908 0 63934591 0 90335 0 69432642 90915 0 65956401 0 94694 0 74988500 93512 0 69000158 0 89124 0 69304132 89131 0 65509343 0 89567 0 69110505 89646 0 66302400 0 89655 0 67332352 89954 0 65363352 0 94775 0 72311029 94687 0 68409257 0 93148 0 71439030 92775 0 66077186 0 91152 0 68560501 91603 0 65671263 0 89673 0 67871502 89532 0 66318383 0 input (Total) output packets errs bytes packets errs bytes colls 87375 0 66767684 88397 0 64846395 0 87705 0 66790212 88440 0 64274695 0 90306 0 69480812 89505 0 66119594 0 88688 0 69017931 89501 0 66616095 0 89453 0 68121276 90877 0 66018874 0 88313 0 68144373 88990 0 65441714 0 89974 0 69380151 88926 0 66182005 0 89941 0 70076000 90165 0 66654692 0 91794 0 69419834 91945 0 66571797 0 90455 0 69753019 91654 0 66774981 0 94322 0 73158343 93879 0 69811503 0 91691 0 70575263 91988 0 68379944 0 89167 0 69410996 89767 0 66610551 0 92961 0 71447436 93112 0 67884693 0 93735 0 72801361 92514 0 68586497 0 90386 0 70762675 90412 0 67725682 0 89569 0 67901991 90298 0 65962791 0 93187 0 72141334 94023 0 69747170 0 91526 0 71592864 91634 0 68332479 0 91302 0 71457939 90823 0 67546730 0 94855 0 75057854 94949 0 71333461 0 input (Total) output packets errs bytes packets errs bytes colls 91578 0 71104670 92004 0 68028903 0 92792 0 71896061 93415 0 68080708 0 93864 0 73401516 93344 0 69298174 0 93790 0 74146619 93962 0 69691501 0 92751 0 72449557 92931 0 69088725 0 93507 0 73313557 93618 0 70064264 0 95028 0 73942828 95568 0 70127312 0 92791 0 71740678 93280 0 68805751 0 91388 0 70446962 91985 0 68910280 0 91139 0 70624879 91850 0 67806839 0 92499 0 71421381 93329 0 69114704 0 90732 0 71156827 90696 0 67723713 0 89838 0 69964886 89979 0 67161999 0 91159 0 70638509 91720 0 67957553 0 91912 0 70849435 92029 0 67131996 0 90199 0 69786459 89373 0 65802710 0 90525 0 70576975 90094 0 65827995 0 91608 0 70542428 92214 0 68625857 0 92492 0 71506132 92895 0 68751625 0 93137 0 71128984 92821 0 67865038 0 91836 0 71873351 91973 0 68070285 0 input (Total) output packets errs bytes packets errs bytes colls 95206 0 75157507 94744 0 69965315 0 91176 0 69034908 91648 0 66617304 0 90375 0 69980599 90801 0 67413307 0 91887 0 70849560 91690 0 67522596 0 89688 0 68429487 91266 0 66019288 0 ========= включил ФТП-сервера ===================== 101195 0 78413912 102102 0 79803756 0 105036 0 80957919 106590 0 81749757 0 103418 0 80814210 105034 0 81012165 0 102276 0 79553841 103686 0 80260914 0 109241 0 86631948 110606 0 87411405 0 104089 0 81809733 105246 0 83036269 0 105197 0 81388147 107260 0 83600639 0 103834 0 80557170 105936 0 82430136 0 104154 0 80395121 106386 0 81340910 0 101767 0 79127750 103816 0 81837549 0 99590 0 76916514 100815 0 79255343 0 106207 0 77599109 105160 0 77677542 0 105229 0 78503800 104187 0 78908190 0 101599 0 78984236 103233 0 78747873 0 102033 0 79819988 103566 0 81721150 0 110854 0 86817029 111841 0 87910115 0 input (Total) output packets errs bytes packets errs bytes colls 115766 0 94034880 116301 0 91983961 0 118758 0 95743050 120309 0 95394964 0 118422 0 96841532 118892 0 93773470 0 118837 0 98662964 117998 0 97531973 0 116567 0 95110407 117782 0 92192747 0 117556 0 96159384 116861 0 94047875 0 121687 0 100022837 123101 0 97570115 0 115742 0 94136254 116007 0 92312212 0 104134 0 83707322 104634 0 81789232 0 114937 0 94018881 114614 0 90604881 0 118038 0 96492437 119081 0 94673855 0 114039 0 93098188 114993 0 90384677 0 117994 0 96169681 117068 0 93767668 0 121374 0 100321070 122302 0 97743996 0 120111 0 99251475 120481 0 97273619 0 120829 0 97831072 122198 0 97322685 0 123871 0 101294348 124617 0 101585111 0 124448 0 102077945 125319 0 102109439 0 128590 0 105201755 129360 0 103445780 0 124209 0 100322330 125614 0 101958287 0 125651 0 104398584 125692 0 100490735 0 input (Total) output packets errs bytes packets errs bytes colls 145529 0 125767047 144684 0 114561947 0 137855 0 118667265 137193 0 106643394 0 140399 0 120889800 138620 0 110433212 0 143562 0 124969143 141339 0 110926532 0 143879 0 125057764 142219 0 112974507 0 143965 0 126307760 141380 0 111475595 0 146459 0 128457826 144560 0 113856464 0 148013 0 127711419 146462 0 116301585 0 148172 0 127082925 146308 0 115495923 0 139353 0 119428194 138187 0 107783708 0 143282 0 123521055 141885 0 110790193 0 150610 0 131089073 147283 0 114927733 0 154759 0 136680879 151395 0 117232891 0 157786 0 139658266 154549 0 119364552 0 153912 0 135306524 150848 0 117498085 0 161866 0 146806217 156342 0 121029865 0 170897 0 154722518 165389 0 128157811 0 171912 0 157516845 164302 0 127220018 0 168966 0 153603489 163853 0 125648363 0 153743 0 135898441 149779 0 116907986 0 147111 0 129593925 143676 0 112004228 0 input (Total) output packets errs bytes packets errs bytes colls 145624 0 127117327 142033 0 112789710 0 148676 0 128264129 147650 0 113906052 0 144522 0 126193498 141006 0 111371408 0 146610 0 127668048 143596 0 112876885 0 150365 0 131399638 146847 0 116309860 0 143640 0 125640841 141859 0 112425808 0 143085 0 124949708 140369 0 110895778 0 142331 0 124509126 139978 0 109431520 0 149159 0 130077541 146425 0 114735901 0 153080 0 134875231 148932 0 119322212 0 149943 0 131279790 147616 0 115818043 0 149006 0 132108638 145247 0 113838078 0 147338 0 129578128 145382 0 116031230 0 147459 0 130884643 143100 0 113659193 0 147826 0 129584545 145995 0 115559637 0 145113 0 127231990 141770 0 111927420 0 153707 0 136760407 151148 0 117933763 0 153144 0 135107050 149589 0 116097402 0 150088 0 132115715 148278 0 115374446 0 150950 0 134012959 148300 0 117511699 0 145456 0 126641610 142740 0 115385152 0 input (Total) output packets errs bytes packets errs bytes colls 140044 0 120079773 138814 0 112486620 0 148611 0 128131993 146666 0 119267105 0 152822 0 134784510 150303 0 120407048 0 155176 0 136352951 152616 0 123011936 0 152373 0 133277106 150145 0 122279073 0 162022 0 144748171 157709 0 124957226 0 163143 0 145840389 160248 0 125381884 0 157194 0 140630809 151251 0 120283193 0 165739 0 146781128 162818 0 128718094 0 166489 0 149720956 160552 0 128417902 0 160710 0 143488566 156962 0 123339834 0 160037 0 141842527 157322 0 126126846 0 166129 0 147522800 162737 0 131258166 0 161198 0 143888410 157050 0 123249236 0 163555 0 146545874 158758 0 124923386 0 165005 0 148068578 161202 0 126904766 0 168312 0 152654277 162511 0 129545043 0 169668 0 153488216 164360 0 129035273 0 166198 0 148292020 161384 0 127511898 0 174943 0 158863393 170650 0 135320566 0 171755 0 156557585 165219 0 130726973 0 input (Total) output packets errs bytes packets errs bytes colls 176431 0 158988595 172616 0 136251586 0 181192 0 164458528 174629 0 135067295 0 179012 0 162094687 174485 0 135871700 0 185218 0 170091978 179361 0 138814737 0 175985 0 161144728 169553 0 131975831 0 180630 0 163489399 174674 0 136954589 0 170517 0 154981735 163265 0 127437665 0 170768 1 154843868 165178 0 127948645 0 180296 0 165396182 173406 0 134393878 0 189431 0 173644944 183773 0 144390945 0 181537 0 165857825 174408 0 138639489 0 Название: Re: Настройка FreeBSD 7.2 на Gigabit Ethernet Отправлено: Elisium от 18 Ноября 2009, 01:06:34 А чем занимается сервак, который "смотрит на юзеров" ?
"Инетовский сервак", как я понял, является шлюзом в инет, т.е на нем чтото вроде шейпер+нат ? Если у Вас сервак, который "смотрит на юзеров", занимается шейпингом и натом и выдает 150 кппс, можете показать, что из начинки стоит ? Проц/мать/сетевые ? Название: Re: Настройка FreeBSD 7.2 на Gigabit Ethernet Отправлено: Andrey Zentavr от 18 Ноября 2009, 01:11:24 А чем занимается сервак, который "смотрит на юзеров" ? За первый сервак нареканий нету."Инетовский сервак", как я понял, является шлюзом в инет, т.е на нем чтото вроде шейпер+нат ? Если у Вас сервак, который "смотрит на юзеров", занимается шейпингом и натом и выдает 150 кппс, можете показать, что из начинки стоит ? Проц/мать/сетевые ? Все конфиге в первом посте. Сервер, который смотри на юзеров: Цитировать Железо: CPU: Intel(R) Core(TM)2 Quad CPU Q6600 @ 2.40GHz (2396.41-MHz 686-class CPU) real memory = 2145361920 (2045 MB) avail memory = 2093039616 (1996 MB) Мамка: INTEL S3200SHC Сетевые - Intel(R) PRO/1000 Network Connection - двухголовая Код: [root@gw3 ~]# lspci | grep Ether Код: [root@gw3 ~]# ifconfig Название: Re: Настройка FreeBSD 7.2 на Gigabit Ethernet Отправлено: Andrey Zentavr от 18 Ноября 2009, 01:16:48 А чем занимается сервак, который "смотрит на юзеров" ? За первый сервак нареканий нету."Инетовский сервак", как я понял, является шлюзом в инет, т.е на нем чтото вроде шейпер+нат ? Если у Вас сервак, который "смотрит на юзеров", занимается шейпингом и натом и выдает 150 кппс, можете показать, что из начинки стоит ? Проц/мать/сетевые ? Все конфиге в первом посте. Сервер, который смотри на юзеров: Цитировать Железо: CPU: Intel(R) Core(TM)2 Quad CPU Q6600 @ 2.40GHz (2396.41-MHz 686-class CPU) real memory = 2145361920 (2045 MB) avail memory = 2093039616 (1996 MB) Мамка: INTEL S3200SHC Сетевые - Intel(R) PRO/1000 Network Connection - двухголовая Код: [root@gw3 ~]# lspci | grep Ether Код: [root@gw3 ~]# ifconfig 1) Шейп 2) ipfw 3) mpd5 для PPPoE 4) Вторичный ДНС 5) DHCP-relay Название: Re: Настройка FreeBSD 7.2 на Gigabit Ethernet Отправлено: Elisium от 18 Ноября 2009, 01:23:19 Цитировать Сервак занимается 1) Шейп 2) ipfw 3) mpd5 для PPPoE 4) Вторичный ДНС 5) DHCP-relay ... и выдает 180 кппс на кваде 6600 ??? да еще и с вланами ? И всего 200 мбт ?? Однако, хочется махнуть свой сервак на Ваш ))) При наших юзерских 800 мбт 120 кппс - это предел мечтаний ((((( п.с. Пока на нем шейп + пф нат + квагга Название: Re: Настройка FreeBSD 7.2 на Gigabit Ethernet Отправлено: Andrey Zentavr от 18 Ноября 2009, 08:25:00 Цитировать Сервак занимается 1) Шейп 2) ipfw 3) mpd5 для PPPoE 4) Вторичный ДНС 5) DHCP-relay ... и выдает 180 кппс на кваде 6600 ??? да еще и с вланами ? И всего 200 мбт ?? Однако, хочется махнуть свой сервак на Ваш ))) При наших юзерских 800 мбт 120 кппс - это предел мечтаний ((((( п.с. Пока на нем шейп + пф нат + квагга ...симптомы начинаются тогда, когда у людишек на 10Мбитном пакете вруг скорость начинается ни с того ни с сего падать до 30-40Кбайт/сек причём смотришь загрузку интернета - ещё как минимум 40Мбит канала висит свободных Название: Re: Настройка FreeBSD 7.2 на Gigabit Ethernet Отправлено: Andrey Zentavr от 19 Ноября 2009, 18:39:34 Вот как раз позвонили - был ноут рядом:
на юзерском серваке: Код: # netstat -w1 Код: 141 processes: 7 running, 117 sleeping, 17 waiting |