flow-capture отьедает всю память

[Elisium]

Доброго дня всем.

Стояла-жила себе машинка под биллинг+дхцп на какойто древней дешевой мамке Интел с одним гигом памяти.
После ее благополучной кончины винты (зеркальный рейд) были перенесены на новую материнку + два гига памяти.
Поработавши несколько часов, глянул на биллинг и увидел такую картину:

Код:

last pid: 18516;  load averages:  0.39,  0.44,  0.42              up 0+03:46:19  01:15:17
149 processes: 4 running, 130 sleeping, 15 waiting
CPU:  8.6% user,  0.0% nice,  2.8% system,  0.0% interrupt, 88.5% idle
Mem: 1084M Active, 506M Inact, 264M Wired, 21M Cache, 207M Buf, 41M Free
Swap: 1024M Total, 756M Used, 268M Free, 73% Inuse

  PID USERNAME   THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
 1909 root         1  46    0  1965M   767M select 0   2:59  0.00% flow-capture
 1886 mysql       38  44    0   532M   117M ucond  0   0:04  1.95% mysqld
10052 root         1   8  -15   196M   157M nanslp 0  11:08  7.08% perl5.8.9
18226 www          1  20    0   168M 10096K lockf  1   0:00  0.00% httpd
18225 www          1  20    0   168M  9980K lockf  1   0:00  0.00% httpd
18227 www          1  20    0   168M  9980K lockf  1   0:00  0.00% httpd
18394 www          1  20    0   168M  9960K lockf  0   0:00  0.00% httpd
18384 www          1  20    0   168M  9960K lockf  1   0:00  0.00% httpd
18395 www          1   4    0   168M  9960K kqread 0   0:00  0.00% httpd
18140 www          1  20    0   168M  9948K lockf  1   0:00  0.00% httpd
18469 www          1  20    0   168M  9940K lockf  1   0:00  0.00% httpd
18479 www          1  20    0   168M  9940K lockf  1   0:00  0.00% httpd
17889 www          1  20    0   168M  6820K lockf  0   0:00  0.00% httpd
 1967 root         1  44    0   167M  9440K select 0   0:01  0.00% httpd
12275 root         1  44    0 36668K  5668K select 0   0:01  0.00% mc
12125 kuger        1  44    0 33772K  3464K select 1   0:00  0.00% sshd
12113 root         1   4    0 33772K     0K sbwait 1   0:00  0.00% <sshd>
 2098 root         1  59  -15 32816K  8708K select 0   3:30  0.00% perl5.8.9
 2099 root         1   8  -15 27652K  5668K nanslp 0   7:52  0.88% perl5.8.9
 1542 root         1  44    0 27452K  2580K select 0   5:01  0.00% snmpd
 1985 root         1  44    0 22880K     0K select 1   0:00  0.00% <sshd>
 1991 root         1  44    0 10700K  1144K select 0   0:00  0.00% sendmail
 1995 smmsp        1  20    0 10700K     0K pause  0   0:00  0.00% <sendmail>
12277 root         1   8    0  9020K  1232K wait   1   0:00  0.00% bash
12128 root         1   8    0  9020K     0K wait   0   0:00  0.00% <bash>
12127 kuger        1   8    0  9020K     0K wait   0   0:00  0.00% <bash>
18507 root         1  44    0  8116K  1924K CPU0   0   0:00  0.00% top
 1947 root         1 -58    0  7848K  3388K bpf    0   0:00  0.00% arpwatch
 1944 root         1 -58    0  7848K  3380K bpf    1   0:00  0.00% arpwatch
 1950 root         1 -58    0  7848K  3356K bpf    0   0:00  0.00% arpwatch
 1920 root         1 -58    0  7848K  3228K bpf    0   0:00  0.00% arpwatch
 1926 root         1 -58    0  7848K  3124K bpf    0   0:00  0.00% arpwatch
 1938 root         1 -58    0  7848K  3120K bpf    0   0:00  0.00% arpwatch
 1929 root         1 -58    0  7848K  3116K bpf    0   0:00  0.00% arpwatch
 1917 root         1 -58    0  7848K  3116K bpf    0   0:00  0.00% arpwatch
 1923 root         1 -58    0  7848K  3116K bpf    0   0:00  0.00% arpwatch
 1932 root         1 -58    0  7848K  3112K bpf    0   0:00  0.00% arpwatch
 1941 root         1 -58    0  7848K  3112K bpf    0   0:00  0.00% arpwatch
 1959 root         1 -58    0  7848K  3104K bpf    0   0:00  0.00% arpwatch
 1914 root         1 -58    0  7848K  3096K bpf    1   0:00  0.00% arpwatch
 1953 root         1 -58    0  7848K  3096K bpf    0   0:00  0.00% arpwatch
 1956 root         1 -58    0  7848K  3096K bpf    0   0:00  0.00% arpwatch

а конкретнее ВОТ:

1909 root         1  46    0  1965M   767M select 0   2:59  0.00% flow-capture

Материнки отличаются чипсетом (ICH10 вместо вроде ICH7), памятью (2ГБ вместо 1 ГБ) и сетевухой (em0 вместо re0)
На старой материнке flow-capture изредка падал и поднимался обратно скриптом, но СТОЛЬКО он не отьедал.
Проц Е6300.

Код:

FreeBSD nodeny 7.2-RELEASE-p4 FreeBSD 7.2-RELEASE-p4 #0: Fri Oct  2 08:22:32 UTC 2009     root@amd64-builder.daemonology.net:/usr/obj/usr/src/sys/GENERIC  amd64

Все установленые проги последние из портов.

Гугль по отьеданию памяти  именно flow-capture не выдал ничего внятного.

Может кто сталкивался/видел/решил подобное ?
Спасибо заранеее всем комментаторам по делу ))


п.с. на текущий момент вопрос решается рестартом flow-capture раз в три часа (((((
п.п.с. ах да ... средний суммарный поток через шлюз, с которого снимается нетфлов статистика, 400 МБт, а в пиках 1,5 ГБт

[VitalVas]

у тя в фаерволе ipfw divert ip или ipfw tee ip???

[Elisium]

ngtee

[VitalVas]

попробуй перекомпелить ядро фри, может поможет

[Andrey Zentavr]

У меня такая проблема была - я говорил об этом Версусу. вспоминаю как пофиксить.

[Andrey Zentavr]

попробуй перекомпелить ядро фри, может поможет

не поможет

[Andrey Zentavr]

Код:

[root@nodeny ~]# uname -a
FreeBSD nodeny.linet.zp.ua 7.2-RELEASE-p4 FreeBSD 7.2-RELEASE-p4 #0: Tue Oct  6 18:23:37 EEST 2009     root@nodeny.linet.zp.ua:/usr/obj/usr/src/sys/NODENY64  amd64

[root@nodeny ~]# cat /usr/src/sys/amd64/conf/NODENY64 | grep -v "^#"

cpu             HAMMER
ident           NODENY64

options         DEVICE_POLLING
options         HZ=1000

options         NETGRAPH
options         NETGRAPH_ETHER
options         NETGRAPH_TEE
options         NETGRAPH_NETFLOW
options         NETGRAPH_PPTPGRE
options         NETGRAPH_PPP
options         NETGRAPH_SOCKET
options         NETGRAPH_IPFW
options         NETGRAPH_KSOCKET
options         NETGRAPH_IFACE
options         NETGRAPH_TCPMSS
options         NETGRAPH_PPPOE


options         IPFIREWALL
options         IPFIREWALL_FORWARD
options         IPDIVERT
options         IPFILTER
options         DUMMYNET
options         IPFIREWALL_DEFAULT_TO_ACCEPT
options         IPFIREWALL_NAT
options         LIBALIAS

options         KDB_UNATTENDED


makeoptions     DEBUG=-g                # Build kernel with gdb(1) debug symbols

options         SCHED_ULE               # ULE scheduler
options         PREEMPTION              # Enable kernel thread preemption
options         INET                    # InterNETworking
options         INET6                   # IPv6 communications protocols
options         SCTP                    # Stream Control Transmission Protocol
options         FFS                     # Berkeley Fast Filesystem
options         SOFTUPDATES             # Enable FFS soft updates support
options         UFS_ACL                 # Support for access control lists
options         UFS_DIRHASH             # Improve performance on big directories
options         UFS_GJOURNAL            # Enable gjournal-based UFS journaling
options         MD_ROOT                 # MD is a potential root device
options         NFSCLIENT               # Network Filesystem Client
options         NFSSERVER               # Network Filesystem Server
options         NFSLOCKD                # Network Lock Manager
options         NFS_ROOT                # NFS usable as /, requires NFSCLIENT
options         MSDOSFS                 # MSDOS Filesystem
options         CD9660                  # ISO 9660 Filesystem
options         PROCFS                  # Process filesystem (requires PSEUDOFS)
options         PSEUDOFS                # Pseudo-filesystem framework
options         GEOM_PART_GPT           # GUID Partition Tables.
options         GEOM_LABEL              # Provides labelization
options         COMPAT_43TTY            # BSD 4.3 TTY compat [KEEP THIS!]
options         COMPAT_IA32             # Compatible with i386 binaries
options         COMPAT_FREEBSD4         # Compatible with FreeBSD4
options         COMPAT_FREEBSD5         # Compatible with FreeBSD5
options         COMPAT_FREEBSD6         # Compatible with FreeBSD6
options         SCSI_DELAY=5000         # Delay (in ms) before probing SCSI
options         KTRACE                  # ktrace(1) support
options         STACK                   # stack(9) support
options         SYSVSHM                 # SYSV-style shared memory
options         SYSVMSG                 # SYSV-style message queues
options         SYSVSEM                 # SYSV-style semaphores
options         _KPOSIX_PRIORITY_SCHEDULING # POSIX P1003_1B real-time extensions
options         KBD_INSTALL_CDEV        # install a CDEV entry in /dev
options         ADAPTIVE_GIANT          # Giant mutex is adaptive.
options         STOP_NMI                # Stop CPUS using NMI instead of IPI
options         AUDIT                   # Security event auditing

options         SMP                     # Symmetric MultiProcessor Kernel

device          cpufreq

device          acpi
device          pci


device          ata
device          atadisk         # ATA disk drives
device          ataraid         # ATA RAID drives
device          atapicd         # ATAPI CDROM drives
options         ATA_STATIC_ID   # Static device numbering

                                        # output.  Adds ~128k to driver.
                                        # output.  Adds ~215k to driver.



device          scbus           # SCSI bus (required for SCSI)
device          ch              # SCSI media changers
device          da              # Direct Access (disks)
device          cd              # CD
device          pass            # Passthrough device (direct SCSI access)
device          ses             # SCSI Environmental Services (and SAF-TE)



device          atkbdc          # AT keyboard controller
device          atkbd           # AT keyboard
device          psm             # PS/2 mouse

device          kbdmux          # keyboard multiplexer

device          vga             # VGA video card driver

device          splash          # Splash screen and screen saver support

device          sc

device          agp             # support several AGP chipsets





device          de              # DEC/Intel DC21x4x (``Tulip'')
device          em              # Intel PRO/1000 Gigabit Ethernet Family
device          igb             # Intel PRO/1000 PCIE Server Gigabit Family
device          ixgbe           # Intel PRO/10GbE PCIE Ethernet Family
device          le              # AMD Am7900 LANCE and Am79C9xx PCnet
device          txp             # 3Com 3cR990 (``Typhoon'')
device          vx              # 3Com 3c590, 3c595 (``Vortex'')

device          miibus          # MII bus support
device          age             # Attansic/Atheros L1 Gigabit Ethernet
device          ale             # Atheros AR8121/AR8113/AR8114 Ethernet
device          bce             # Broadcom BCM5706/BCM5708 Gigabit Ethernet
device          bfe             # Broadcom BCM440x 10/100 Ethernet
device          bge             # Broadcom BCM570xx Gigabit Ethernet
device          dc              # DEC/Intel 21143 and various workalikes
device          et              # Agere ET1310 10/100/Gigabit Ethernet
device          fxp             # Intel EtherExpress PRO/100B (82557, 82558)
device          jme             # JMicron JMC250 Gigabit/JMC260 Fast Ethernet
device          lge             # Level 1 LXT1001 gigabit Ethernet
device          msk             # Marvell/SysKonnect Yukon II Gigabit Ethernet
device          nfe             # nVidia nForce MCP on-board Ethernet
device          nge             # NatSemi DP83820 gigabit Ethernet
device          pcn             # AMD Am79C97x PCI 10/100 (precedence over 'le')
device          re              # RealTek 8139C+/8169/8169S/8110S
device          rl              # RealTek 8129/8139
device          sf              # Adaptec AIC-6915 (``Starfire'')
device          sis             # Silicon Integrated Systems SiS 900/SiS 7016
device          sk              # SysKonnect SK-984x & SK-982x gigabit Ethernet
device          ste             # Sundance ST201 (D-Link DFE-550TX)
device          ti              # Alteon Networks Tigon I/II gigabit Ethernet
device          tl              # Texas Instruments ThunderLAN
device          tx              # SMC EtherPower II (83c170 ``EPIC'')
device          vge             # VIA VT612x gigabit Ethernet
device          vr              # VIA Rhine, Rhine II
device          wb              # Winbond W89C840F
device          xl              # 3Com 3c90x (``Boomerang'', ``Cyclone'')



device          loop            # Network loopback
device          random          # Entropy device
device          ether           # Ethernet support
device          sl              # Kernel SLIP
device          ppp             # Kernel PPP
device          tun             # Packet tunnel.
device          pty             # Pseudo-ttys (telnet etc)
device          md              # Memory "disks"
device          gif             # IPv6 and IPv4 tunneling
device          faith           # IPv6-to-IPv4 relaying (translation)
device          firmware        # firmware assist module

device          bpf             # Berkeley packet filter

device          uhci            # UHCI PCI->USB interface
device          ohci            # OHCI PCI->USB interface
device          ehci            # EHCI PCI->USB interface (USB 2.0)
device          usb             # USB Bus (required)
device          ugen            # Generic
device          uhid            # "Human Interface Devices"
device          ukbd            # Keyboard
device          umass           # Disks/Mass storage - Requires scbus and da
device          ums             # Mouse

Во первых - проапдейти порты.
Во вторых - в flow-tools при компиляции на 64битных ядрах есть утечка памяти которую никто не собирался фиксить на то время, как я искал решениие проблемы.
Ну, а решил вроде так:
удалил порт flow-tools и установил

Из переписки с автором от 10 ноября 2009г.

Andrey Zentavr ( 22:28:13 )
Кстати, ещё только что обнаружил, что flow-tools кушает очень много памяти на Фре 64бита.
Можно ознакомиться тут -> http://www.mail-archive.com/freebsd-ports@freebsd.org/msg22663.html
Пока перешел на flow-tools-ng с обновлённых портов. Посмотрим как полетает... А то оно сожрало 3 гига мозга и 16 гиг свапа...
Versus NoDeny ( 22:40:56 )
ого
Andrey Zentavr ( 22:50:25 )
Фря 7,2 amd64. Пишут что трабла свойственна только на 64Битах

и 11 ноября 2009г.

Andrey Zentavr ( 10:43:01 )
...кстате, после вчерашнего апдейта flow-tools вроде полегшало серверу.

[root@nodeny ~]# swapinfo
Device 512-blocks Used Avail Capacity
/dev/mirror/gm0s1b 6291456 28240 6263216 0%
/dev/md0 31457280 32056 31425224 0%
Total 37748736 60296 37688440 0%

[root@nodeny ~]# top -b 15
last pid: 14195; load averages: 0.78, 1.00, 0.99 up 2+13:41:02 10:42:28
161 processes: 15 running, 146 sleeping

Mem: 664M Active, 1557M Inact, 546M Wired, 89M Cache, 309M Buf, 53M Free
Swap: 18G Total, 29M Used, 18G Free


PID USERNAME THR PRI NICE SIZE RES STATE TIME WCPU COMMAND
88504 root 1 60 -15 309M 288M RUN 48:39 1.37% perl5.8.9
73139 mysql 77 4 0 899M 319M sbwait 0:01 0.78% mysqld
953 root 1 59 -15 32912K 7812K RUN 46:41 0.00% perl5.8.9
82282 root 1 44 0 11212K 2512K RUN 2:58 0.00% flow-capture
485 root 1 44 0 5692K 572K select 0:38 0.00% syslogd
849 root 1 44 0 134M 3788K select 0:35 0.00% httpd
462 root 1 44 0 7760K 496K select 0:07 0.00% zebra

Versus NoDeny ( 10:43:54 )
flow-tools-ng заюзал ?
Andrey Zentavr ( 10:44:00 )
да
Andrey Zentavr ( 10:44:28 )
cvsup нул вчера новые порты и скомпилил

Наверное необходимо внести в доку...

[Elisium]

Я там выше написал - софт из последних портов.
Первое решение - реинсталл - не помогает.

Запостил на Наге, дали подобный ответ - патчить флов-тулз.
http://forum.nag.ru/forum/index.php?showtopic=54321&st=0&gopid=470164

Первая же мысль обычно приходит на свои кривые руки, а лишь ПОТОМ на то, что накосячил разраб.

[VitalVas]

первая мысль больше подходит))

[Elisium]

Если все таки внимательно погуглить или хотя бы прочитать ссылку выше, то станет понятно, что "первая мысль" совсем никаким боком тут не подходит.

[VitalVas]

ну тогда юзай ipcad

[Andrey Zentavr]

Молодые люди и не очень. flow-tools-ng этой проблемы не имеет на amd64.
Не сношайте себе мозк.

[Elisium]

Собсно, вчера и поставил ))
На результат гляну сегодня, а то забыл рестарт флов-тулз выключить))

[Elisium]

Вот и наступило "сегодня".
Пока все пашет нормально, память на месте, трафик считается вроде как верно ).