Биллинговая система Nodeny

Главная категория => Курилка => Тема начата: andromeda от 05 Января 2013, 11:12:23



Название: Что взять в ядро.
Отправлено: andromeda от 05 Января 2013, 11:12:23
Доброго времени.
Столкнулись с проблемой что делать с агрегацией в ядре.
Имеем тазик
Мать Tyan Tempest i5100X (S5375AG2NR)
камень Intel Xeon E5405
Память 4x1024Mb PC2-5300P-555-12 ECC

И ядро dgs-3120-24sc
Схемка примерно такая .
Все разбито по улицам и каждая улица воткнута в порт на улице  снимаем tl-sl2210web
линки от части 1г.

людишек примерно 500-600 трафика в районе 200 мб (Мир+Укр)
канал от права в районе 280 мб.

Но в пике нагрузки трафик не превышает 220 мб и пинг от сервера к свичу большой 9-60мс.
Стал вопрос сменить ядро до L3.
у нас полный НАТ.
На свиче только вланы больше нечего пока.
В дальнейшем хотим привязать юзеров к порту на этом свиче(Если это возможно).
В среднем по 30 узеров на порт.
Есть возможность купить D-Link DGS-3627G
Что посоветуете???

Извиняюсь за кривой пост просто только начинаю учится, переход с мыльниц на что-то головастое не просто дается..




Название: Re: Что взять в ядро.
Отправлено: stix от 05 Января 2013, 11:19:07
я бы поставил cisco 6509 с самым простым модулем супервизора.
она бы и агрегировала трафик через GBIC модули + если надо медные сколько угодно + можно 10G поставить, в довесок на ней BGP с аплинками висели бы.
очень хорошая масштабируемость при низкой цене как за БУ шасси.

а если тупой агрегатор, то лучше Extreme Networks не найти, Summit X450-24x за 1500$ без проблем

серьезный NAT потянет только сервак.
Cisco,Juniper,Exteme для этого ультрадорогое решение


Название: Re: Что взять в ядро.
Отправлено: andromeda от 05 Января 2013, 11:37:02
Люди масштаб сети 600 абонов.)))) 10g линки не нужны.
Та меди тока 2-4 порта нужны у нас там 15 1g\c оптик приходит.
Смотрел в сторону D-Link DGS-3627G б.у 1430$
хотелка еще 24 sfp 1g
Вы еще mx80 предложите как молотилку трафика)
Трафа до 250-300 мб пока.
По циске имеете в виду Cisco Catalyst 6509-E та почку продать придется. )))


Название: Re: Что взять в ядро.
Отправлено: goletsa от 05 Января 2013, 11:43:50
L3 на свиче поднят?
Может проще vlan'ы до сервера дотянуть?
Плюс уточнение - пинг до управления свича или через свич так растет?
Поидее если он просто агрегатор L2 то пофигу какой пинг до управления.


Название: Re: Что взять в ядро.
Отправлено: stix от 05 Января 2013, 11:45:03
6509 шасси брали за 500$ не помню точно +-
без блоков питания и вентиляторов, тупо каркас можно сказать.
остальное навешать по желанию.

зачем D-Link? ведь лучше Extreme x450 с 24 SFP портами

например
http://networkshop.com.ua/Extreme_Summit_X450a-24x.html

такие вот стоят на агрегации с операторами связи.
+x650, но вам такие точно смысла нет брать
Цитировать
Поидее если он просто агрегатор L2 то пофигу какой пинг до управления.
ненене, разные производители по разному все делают.
ASIC да, RISC все на свете, кто-то в CPU и коммутацию и маршрутизацию делает, от того и у D-Link проблемы с TCAM

у цисок например backplane вынесен отдельно, ей плевать сколько трафика будет маршрутизироваться, даже если процессор будет в 100%, то на коммутацию не повлияет и доступ к циске тоже будет работать,если тот интерфейс не умирает


Название: Re: Что взять в ядро.
Отправлено: andromeda от 05 Января 2013, 11:49:26
Summit X450a-24t Есть с sfp или только медь?


Название: Re: Что взять в ядро.
Отправлено: stix от 05 Января 2013, 11:50:31
я ж ссылку кинул на SFP
http://networkshop.com.ua/switches-extreme-summit-X450-series.html
вся серия

http://fornet.net.ua/product/537-extreme-x450-24x
у них много чего брали
и циски с супервизорами, и экстримы все возможные с серверами


Название: Re: Что взять в ядро.
Отправлено: andromeda от 05 Января 2013, 11:56:04
L3 на свиче поднят?
Может проще vlan'ы до сервера дотянуть?
Плюс уточнение - пинг до управления свича или через свич так растет?
Поидее если он просто агрегатор L2 то пофигу какой пинг до управления.
По ssh c сервера до свичя
PING 192.168.168.2 (192.168.168.2) 56(84) bytes of data.
64 bytes from 192.168.168.2: icmp_req=1 ttl=255 time=1.75 ms
64 bytes from 192.168.168.2: icmp_req=2 ttl=255 time=1.16 ms
64 bytes from 192.168.168.2: icmp_req=3 ttl=255 time=1.03 ms
64 bytes from 192.168.168.2: icmp_req=4 ttl=255 time=0.994 ms
64 bytes from 192.168.168.2: icmp_req=5 ttl=255 time=2.03 ms
64 bytes from 192.168.168.2: icmp_req=6 ttl=255 time=2.52 ms
64 bytes from 192.168.168.2: icmp_req=7 ttl=255 time=2.93 ms
64 bytes from 192.168.168.2: icmp_req=8 ttl=255 time=1.02 ms
64 bytes from 192.168.168.2: icmp_req=9 ttl=255 time=1.72 ms
64 bytes from 192.168.168.2: icmp_req=10 ttl=255 time=1.20 ms
64 bytes from 192.168.168.2: icmp_req=11 ttl=255 time=2.81 ms
64 bytes from 192.168.168.2: icmp_req=12 ttl=255 time=3.30 ms
64 bytes from 192.168.168.2: icmp_req=13 ttl=255 time=1.14 ms
64 bytes from 192.168.168.2: icmp_req=14 ttl=255 time=1.52 ms
64 bytes from 192.168.168.2: icmp_req=15 ttl=255 time=1.94 ms
64 bytes from 192.168.168.2: icmp_req=16 ttl=255 time=1.73 ms
64 bytes from 192.168.168.2: icmp_req=17 ttl=255 time=1.54 ms
64 bytes from 192.168.168.2: icmp_req=18 ttl=255 time=1.26 ms
64 bytes from 192.168.168.2: icmp_req=19 ttl=255 time=1.07 ms
64 bytes from 192.168.168.2: icmp_req=20 ttl=255 time=1.71 ms
64 bytes from 192.168.168.2: icmp_req=21 ttl=255 time=1.11 ms
64 bytes from 192.168.168.2: icmp_req=22 ttl=255 time=1.77 ms
64 bytes from 192.168.168.2: icmp_req=23 ttl=255 time=1.33 ms
По меди. 1 м пачкорд нагрузка сейчас в около
Device eth0 (1/23):
=============================================================================================================================================================
Incoming:
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################  Curr: 179.61 MBit/s
                                                                             ###########################  Avg: 178.38 MBit/s
                                                                             ###########################  Min: 158.03 MBit/s
                                                                             ###########################  Max: 199.61 MBit/s
                                                                             ###########################  Ttl: 2.25 GByte
Outgoing:
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################
                                                                             ###########################  Curr: 63.49 MBit/s
                                                                             ###########################  Avg: 59.38 MBit/s
                                                                             ###########################  Min: 53.64 MBit/s
                                                                             ###########################  Max: 64.25 MBit/s
                                                                             ###########################  Ttl: 1.10 GByte
200 мб
Вечерком пинги полезут.
Куда копать хз Заменим сегодня пачкорды на экранированные будем смотреть что изменится.


Название: Re: Что взять в ядро.
Отправлено: andromeda от 05 Января 2013, 11:58:31
я ж ссылку кинул на SFP
вся серия

у них много чего брали
и циски с супервизорами, и экстримы все возможные с серверами
Сейчас посмотрю спасибо. Не внимательно прочитал. извиняюсь.


Название: Re: Что взять в ядро.
Отправлено: andromeda от 05 Января 2013, 12:00:52
и еще может кто-то сталкивался с dgs-3120-24sc проблема.
Стойка заземлена но если потрогать модули на свиче он тупо тухнет и все.
помогает только ресет по питанию.


Название: Re: Что взять в ядро.
Отправлено: stix от 05 Января 2013, 12:01:59
нужно вести графики загрузки процессора, памяти и модулей.

1 гиг смешанного интернета идет через нее (Cisco 6509)
она в качестве маршрутизатора
на графике видно, что были траблы с памятью, это когда циска рулила доступом вместо роутера доступа


Название: Re: Что взять в ядро.
Отправлено: stix от 05 Января 2013, 12:02:46
и еще может кто-то сталкивался с dgs-3120-24sc проблема.
Стойка заземлена но если потрогать модули на свиче он тупо тухнет и все.
помогает только ресет по питанию.
это D-Link у него всегда проблемы с питанием были, есть и будут.

только Extreme, только фольклор )
такое счастье работает безотказно


Название: Re: Что взять в ядро.
Отправлено: andromeda от 05 Января 2013, 12:10:38
А у меня такую бредятину рисует(((


Название: Re: Что взять в ядро.
Отправлено: andromeda от 05 Января 2013, 12:17:18
и еще может кто-то сталкивался с dgs-3120-24sc проблема.
Стойка заземлена но если потрогать модули на свиче он тупо тухнет и все.
помогает только ресет по питанию.
это D-Link у него всегда проблемы с питанием были, есть и будут.

только Extreme, только фольклор )
такое счастье работает безотказно
Буду смотреть что там есть у них. Может что-то нарулю
И еще добавил графики цп и памяти посмотрю что нарисует.


Название: Re: Что взять в ядро.
Отправлено: Cell от 05 Января 2013, 12:21:59
Для такого количества юзеров л3 в ядре не нужно если конечно нет лишних денег. Л2 агрегатор в ядро и терминировать вланы сервером доступа. Но 3120 в качестве ядерного -- беее. Поставьте туда хотябы делл 6024(ф) бу будет не дорого стоить и работать долго и счастливо.


Название: Re: Что взять в ядро.
Отправлено: Cell от 05 Января 2013, 12:24:26
А у меня такую бредятину рисует(((
вы просто кактус не умеете готовить


Название: Re: Что взять в ядро.
Отправлено: stix от 05 Января 2013, 12:27:53
классика, 64 битный счетчик )


Название: Re: Что взять в ядро.
Отправлено: andromeda от 05 Января 2013, 12:38:38
та да я тоже от d-link не в восторге.
Буду смотреть в сторону циски или Summit X450a-24t
нечего сверхъестественного делать пока не нужно в ядре.
только нужно чтоб железяка смогла ян себя все принять и разрулить. Сложность со вланами т.к. приходит 6 каналов каждый в отдельном влане и каждый тегирован от 2 правов по 3 влана в 2 порта только проблема в том что 1 провайдер в свиче а второй  воткнут в этот же свичть только проброшен на сетевую которая уже отдает инет людишкам и все ето хитренько маршрутится сервером. На схеме это еще Смешнее выгладит.


Название: Re: Что взять в ядро.
Отправлено: andromeda от 05 Января 2013, 12:40:17
и еще может кто-то сталкивался с dgs-3120-24sc проблема.
Стойка заземлена но если потрогать модули на свиче он тупо тухнет и все.
помогает только ресет по питанию.
это D-Link у него всегда проблемы с питанием были, есть и будут.

только Extreme, только фольклор )
такое счастье работает безотказно
Буду смотреть что там есть у них. Может что-то нарулю
И еще добавил графики цп и памяти посмотрю что нарисует.
нечего мой cacti не видет с этой железки...


Название: Re: Что взять в ядро.
Отправлено: andromeda от 05 Января 2013, 12:41:12
cacti только как месяц юзаю еще чайник....
64 битный счетчик поставил ша проверим..))


Название: Re: Что взять в ядро.
Отправлено: Cell от 05 Января 2013, 12:43:32
та да я тоже от d-link не в восторге.
Буду смотреть в сторону циски или Summit X450a-24t
нечего сверхъестественного делать пока не нужно в ядре.
только нужно чтоб железяка смогла ян себя все принять и разрулить. Сложность со вланами т.к. приходит 6 каналов каждый в отдельном влане и каждый тегирован от 2 правов по 3 влана в 2 порта только проблема в том что 1 провайдер в свиче а второй  воткнут в этот же свичть только проброшен на сетевую которая уже отдает инет людишкам и все ето хитренько маршрутится сервером. На схеме это еще Смешнее выгладит.
никакой проблемы здесь нет было бы желание ))


Название: Re: Что взять в ядро.
Отправлено: andromeda от 05 Января 2013, 12:49:23
До 3120 стоял DGS-1210-28 вот тогда были танцы с бубном чтоб все на него принять.... и отдать на сервер. в одну карточку. и часть завернуть в другую..


Название: Re: Что взять в ядро.
Отправлено: andromeda от 05 Января 2013, 12:58:23
C:\Users\KOmp>ping 192.168.11.1 -t

Обмен пакетами с 192.168.11.1 по с 32 байтами данных:
Ответ от 192.168.11.1: число байт=32 время=2мс TTL=64
Ответ от 192.168.11.1: число байт=32 время=1мс TTL=64
Ответ от 192.168.11.1: число байт=32 время=7мс TTL=64
Ответ от 192.168.11.1: число байт=32 время=3мс TTL=64
Ответ от 192.168.11.1: число байт=32 время=1мс TTL=64
Ответ от 192.168.11.1: число байт=32 время=2мс TTL=64
Ответ от 192.168.11.1: число байт=32 время=2мс TTL=64
Ответ от 192.168.11.1: число байт=32 время=9мс TTL=64
Ответ от 192.168.11.1: число байт=32 время=3мс TTL=64
Ответ от 192.168.11.1: число байт=32 время=1мс TTL=64
Ответ от 192.168.11.1: число байт=32 время=3мс TTL=64
Ответ от 192.168.11.1: число байт=32 время=4мс TTL=64
Ответ от 192.168.11.1: число байт=32 время=1мс TTL=64

Статистика Ping для 192.168.11.1:
    Пакетов: отправлено = 13, получено = 13, потеряно = 0
    (0% потерь)
Приблизительное время приема-передачи в мс:
    Минимальное = 1мсек, Максимальное = 9 мсек, Среднее = 3 мсек

пинг сервера через комп-свичь-сервер 1 м пачкорда.


Название: Re: Что взять в ядро.
Отправлено: andromeda от 05 Января 2013, 13:35:36
Тыкните мордой в циску нужно много sfp 1g\s, молотилка трафика(Хотелось бы привязку много маков к 1 порту),
Управления через билинг, bgp может скоро начнем всех переводить на белые ip  . cisco 6509 -только шасси.
Есть такое на наге
http: //shop.nag.ru/catalog/02392.Cisco/06741.6500/02682.WS-C6513
Но я чуть не понимаю туда ведь еще нужно что-то засунуть зверьков ведь там нет голое шасси??


Название: Re: Что взять в ядро.
Отправлено: andromeda от 05 Января 2013, 13:41:25
А у меня такую бредятину рисует(((
вы просто кактус не умеете готовить
Я его уже и варил и закатывал, осталось только в маринад и на гриль...
Разбираюсь потихоньку.


Название: Re: Что взять в ядро.
Отправлено: andromeda от 05 Января 2013, 13:47:16
L3 на свиче поднят?
Может проще vlan'ы до сервера дотянуть?
Плюс уточнение - пинг до управления свича или через свич так растет?
Поидее если он просто агрегатор L2 то пофигу какой пинг до управления.
не хотелось маршрутить все сервером.
L3 на свиче поднят?- не понял о чем речь.
Плюс уточнение - пинг до управления свича или через свич так растет?-через.
У нас железка только все принимает и запихивает все в порты сервера.


Название: Re: Что взять в ядро.
Отправлено: stix от 05 Января 2013, 13:55:14
Тыкните мордой в циску нужно много sfp 1g\s, молотилка трафика(Хотелось бы привязку много маков к 1 порту),
Управления через билинг, bgp может скоро начнем всех переводить на белые ip  . cisco 6509 -только шасси.
Есть такое на наге
http: //shop.nag.ru/catalog/02392.Cisco/06741.6500/02682.WS-C6513
Но я чуть не понимаю туда ведь еще нужно что-то засунуть зверьков ведь там нет голое шасси??

у циски есть GBIC, там нет SFP
есть mini-gbic, тот же SFP, он он 100 мбит


Название: Re: Что взять в ядро.
Отправлено: goletsa от 05 Января 2013, 13:55:40
не хотелось маршрутить все сервером.
L3 на свиче поднят?- не понял о чем речь.
Плюс уточнение - пинг до управления свича или через свич так растет?-через.
У нас железка только все принимает и запихивает все в порты сервера.
А, не посмотрел, это L2 свич. Тогда пичально.
PS: Стоимость роутинга (L3) на сервере до 1Гбит\с имхо будет сильно ниже чем покупать железку за пару килобаксов.


Название: Re: Что взять в ядро.
Отправлено: goletsa от 05 Января 2013, 13:56:39
Тыкните мордой в циску нужно много sfp 1g\s, молотилка трафика(Хотелось бы привязку много маков к 1 порту),
Управления через билинг, bgp может скоро начнем всех переводить на белые ip  . cisco 6509 -только шасси.
Есть такое на наге
http: //shop.nag.ru/catalog/02392.Cisco/06741.6500/02682.WS-C6513
Но я чуть не понимаю туда ведь еще нужно что-то засунуть зверьков ведь там нет голое шасси??

у циски есть GBIC, там нет SFP
есть mini-gbic, тот же SFP, он он 100 мбит
mini-gbic это и есть SFP, в том числе 1G


Название: Re: Что взять в ядро.
Отправлено: andromeda от 05 Января 2013, 14:03:09
Тыкните мордой в циску нужно много sfp 1g\s, молотилка трафика(Хотелось бы привязку много маков к 1 порту),
Управления через билинг, bgp может скоро начнем всех переводить на белые ip  . cisco 6509 -только шасси.
Есть такое на наге
http: //shop.nag.ru/catalog/02392.Cisco/06741.6500/02682.WS-C6513
Но я чуть не понимаю туда ведь еще нужно что-то засунуть зверьков ведь там нет голое шасси??

у циски есть GBIC, там нет SFP
есть mini-gbic, тот же SFP, он он 100 мбит
Я в цисках 0, спасибо буду знать.
Сейчас читаю про них.


Название: Re: Что взять в ядро.
Отправлено: andromeda от 05 Января 2013, 14:13:36
не хотелось маршрутить все сервером.
L3 на свиче поднят?- не понял о чем речь.
Плюс уточнение - пинг до управления свича или через свич так растет?-через.
У нас железка только все принимает и запихивает все в порты сервера.
А, не посмотрел, это L2 свич. Тогда пичально.
PS: Стоимость роутинга (L3) на сервере до 1Гбит\с имхо будет сильно ниже чем покупать железку за пару килобаксов.

но тут с дальнейшем bgp и привязкой ip mac port просто сейчас в сети полный хаос. Вечерком накидаю схемку покажу.
Хотелось бы потихоньку порядок наводить а то абоны растут и уже просидания в сети. то свичь то сервер, руки.
Та и сервак не жирный чтоб не него все вешать. пока все просто есть железяка, один порт одна улица 10-30 абонов.
таких портов где-то 14 и есть 4 порта где на другом конце еще по умной железяки тоже примерно по 14 портов по 10-30 абонов.
Хотится как-то это упорядочить. в ядре. разбить на подсети поднять дхцп разделить по вланам. ну всяких плюшек))


Название: Re: Что взять в ядро.
Отправлено: andromeda от 05 Января 2013, 14:28:23
Что это за график? беру с ядра сейчас Viewing Graph 'Memory Usage'


Название: Re: Что взять в ядро.
Отправлено: Cell от 05 Января 2013, 14:42:39
не хотелось маршрутить все сервером.
L3 на свиче поднят?- не понял о чем речь.
Плюс уточнение - пинг до управления свича или через свич так растет?-через.
У нас железка только все принимает и запихивает все в порты сервера.
А, не посмотрел, это L2 свич. Тогда пичально.
PS: Стоимость роутинга (L3) на сервере до 1Гбит\с имхо будет сильно ниже чем покупать железку за пару килобаксов.

но тут с дальнейшем bgp и привязкой ip mac port просто сейчас в сети полный хаос. Вечерком накидаю схемку покажу.
Хотелось бы потихоньку порядок наводить а то абоны растут и уже просидания в сети. то свичь то сервер, руки.
Та и сервак не жирный чтоб не него все вешать. пока все просто есть железяка, один порт одна улица 10-30 абонов.
таких портов где-то 14 и есть 4 порта где на другом конце еще по умной железяки тоже примерно по 14 портов по 10-30 абонов.
Хотится как-то это упорядочить. в ядре. разбить на подсети поднять дхцп разделить по вланам. ну всяких плюшек))
Вам не поможет в ядре L3 железяка навести порядок, если у вас хаос. Хотите БГП и белые ипы (кстати интересно где вы их будите брать... если места знаете... посвятите) то ничего не мешает квагу на серваке поднять, хотите биндить маки на порт - так делайте ВСЮ сеть управляемой ))). Вам же авторитетно уже объяснили, что до 1 Гб/сек стоимость владения L3 железякой, которая будет справляться с поставленными вами задачами будет ЗНАЧИТЕЛЬНО выше использования софтварных решений на базе тазиков.
Повторюсь со своим имхо - лучше купить норм таз за 1000 баксов, и адекватный L2 аргегатор. При вашей теперешней нагрузке вам подойдет edgecore 4212, если хотите с запасом - то dell 6024 - если возьмете с буковкой F - то вам вообще счастье будет, бо там 24 сфп порта. Никто не спорит, что х450 хорош... а х650 еще лучше... только в настоящий момент оно вам не нужно, использоваться не будет и экономически не целесообразно. Если будет желание, я найду вам продавца dell 6024


Название: Re: Что взять в ядро.
Отправлено: andromeda от 05 Января 2013, 14:46:47
Чуть разобрался.
Нужно найти шаси и после чего модуль к нему? или купить кучку сразу в сборе с ебея?
Что значит "супервизорный модуль"?
Да я лес в этом.)
Правильно понял купил я http: //networkshop.com.ua/Extreme_BD_8810.html и потом нужно что-то такое докупить
""D 8800 10G4Ca BlackDiamond 8800 4-port 10GBASE-CX4
 BD 8800 10G4Xa BlackDiamond 8800 4-port 10GBASE-X XFP
 BD 8800 10G4Xc BlackDiamond 8800 4-port 10GBASE-XFP
 BD 8800 10G8Xc BlackDiamond 8800 8-port 10GBASE-XFP
 BD 8800 G24Xc BlackDiamond 8800 24-port 1000BASE-X mini-GBIC
 BD 8800 G48Pe
 BlackDiamond 8800 48-port POE 10/100/1000BaseT RJ-45 Module
 BD 8800 G48Ta
 BlackDiamond 8800 Advanced 48-port 10/100/1000BaseT RJ-45 Module
 BD 8800 G48Tc BlackDiamond 8800 48-port 10/100/1000BASE-T RJ-45, optional POE card
 BD 8800 G48Te
 BlackDiamond 8800 48-port 10/100/1000BaseT RJ-45 Module
 BD 8800 G48Te2 BlackDiamond 8800 48-port 10/100/1000BASE-T RJ-45, edge, optional POE card
 BD 8800 G48Xa
 BlackDiamond 8800 48-port 1000BASE-X SFP (mini-GBIC) A-Series Module, RoHS-5
 BD 8800 G48Xc BlackDiamond 8800 48-port 1000BASE-X mini-GBIC
 BD 8800 MSM-48 BlackDiamond 8800 Management Switch Module
 BD 8800 MSM-48c BlackDiamond 8800 Management Switch Module, optional I/O port
 BD 8800 MSM-G8X Mgmt
 BlackDiamond 8800 Management Switch Module w/ 8 1000BASE-X SFP ports""


Название: Re: Что взять в ядро.
Отправлено: Cell от 05 Января 2013, 15:00:53
ууууу, все понятно...
желаю приятного общения ))) я тему покидаю.


Название: Re: Что взять в ядро.
Отправлено: andromeda от 05 Января 2013, 15:01:50
ну если у кого не будь завалялся Dell PowerConnect 6024F готов обсудить цену.


Название: Re: Что взять в ядро.
Отправлено: VitalVas от 05 Января 2013, 17:03:05
ну если у кого не будь завалялся Dell PowerConnect 6024F готов обсудить цену.
бери 6224f - меньше проблем будет


Название: Re: Что взять в ядро.
Отправлено: stix от 05 Января 2013, 17:07:25
Тыкните мордой в циску нужно много sfp 1g\s, молотилка трафика(Хотелось бы привязку много маков к 1 порту),
Управления через билинг, bgp может скоро начнем всех переводить на белые ip  . cisco 6509 -только шасси.
Есть такое на наге
http: //shop.nag.ru/catalog/02392.Cisco/06741.6500/02682.WS-C6513
Но я чуть не понимаю туда ведь еще нужно что-то засунуть зверьков ведь там нет голое шасси??

у циски есть GBIC, там нет SFP
есть mini-gbic, тот же SFP, он он 100 мбит
mini-gbic это и есть SFP, в том числе 1G

у нас в продаже не видел кроме 100base-fx,
хотя кстати я юзаю многомод на интерконнектах в пределах гермозоны


Название: Re: Что взять в ядро.
Отправлено: Cell от 05 Января 2013, 20:06:45
ну если у кого не будь завалялся Dell PowerConnect 6024F готов обсудить цену.
бери 6224f - меньше проблем будет
Кстати да, но он дороже... зато у него можно докупить два модуля для 10G


Название: Re: Что взять в ядро.
Отправлено: stix от 05 Января 2013, 20:44:06
вы конечно извините, но делы рагульные.
к нему может спонтанно пропасть доступ и он может не отвечать на пинги, иметь свойство зависать
опыт 6448 с 10G, LACP, 5224 и 3424.
прошивки нормальные, трафика много.


Название: Re: Что взять в ядро.
Отправлено: Cell от 05 Января 2013, 21:45:18
вы конечно извините, но делы рагульные.
Не могу согласиться. Опыт 3324, 5224, 6024, 6224. Последние два - просто отличные, других слов нет.
Да, в них нет некоторых фич как в длинках... зато работают без проблем и жуют сколько дашь


Название: Re: Что взять в ядро.
Отправлено: Belos от 05 Января 2013, 22:35:16
У нас стоят 3627g, претензий пока нет.


Название: Re: Что взять в ядро.
Отправлено: andromeda от 05 Января 2013, 22:53:16
D-Link DGS-3627G отдадут за 1к$ Хотелка.... На наге про них и плохо и хорошо... Все еще смотрю чем сменить 3120
Сегодня заметил такой баг в сети при нагрузке в 500 абонов онлан при этом пинг свича по ssh

Код:
PING 192.168.168.2 (192.168.168.2) 56(84) bytes of data.
64 bytes from 192.168.168.2: icmp_req=1 ttl=255 time=7.80 ms
64 bytes from 192.168.168.2: icmp_req=2 ttl=255 time=6.78 ms
64 bytes from 192.168.168.2: icmp_req=3 ttl=255 time=5.38 ms
64 bytes from 192.168.168.2: icmp_req=4 ttl=255 time=12.9 ms
64 bytes from 192.168.168.2: icmp_req=5 ttl=255 time=12.7 ms
64 bytes from 192.168.168.2: icmp_req=6 ttl=255 time=7.89 ms
64 bytes from 192.168.168.2: icmp_req=7 ttl=255 time=11.8 ms
64 bytes from 192.168.168.2: icmp_req=8 ttl=255 time=11.7 ms

И пинг его только с сети
C:\Users\Zver>ping 192.168.168.2

Обмен пакетами с 192.168.168.2 по с 32 байтами данных:
Ответ от 192.168.168.2: число байт=32 время=17мс TTL=253
Ответ от 192.168.168.2: число байт=32 время=18мс TTL=253
Ответ от 192.168.168.2: число байт=32 время=14мс TTL=253
Ответ от 192.168.168.2: число байт=32 время=16мс TTL=253

Статистика Ping для 192.168.168.2:
    Пакетов: отправлено = 4, получено = 4, потеряно = 0
    (0% потерь)
Приблизительное время приема-передачи в мс:
    Минимальное = 14мсек, Максимальное = 18 мсек, Среднее = 16 мсек
и
sudo ping 192.168.168.2 -l 5000
WARNING: probably, rcvbuf is not enough to hold preload.
PING 192.168.168.2 (192.168.168.2) 56(84) bytes of data.
64 bytes from 192.168.168.2: icmp_req=1 ttl=255 time=24.3 ms
64 bytes from 192.168.168.2: icmp_req=2 ttl=255 time=24.9 ms
64 bytes from 192.168.168.2: icmp_req=3 ttl=255 time=26.9 ms
64 bytes from 192.168.168.2: icmp_req=4 ttl=255 time=31.4 ms
64 bytes from 192.168.168.2: icmp_req=5 ttl=255 time=32.5 ms
64 bytes from 192.168.168.2: icmp_req=6 ttl=255 time=37.7 ms
64 bytes from 192.168.168.2: icmp_req=7 ttl=255 time=38.7 ms
64 bytes from 192.168.168.2: icmp_req=8 ttl=255 time=39.6 ms
64 bytes from 192.168.168.2: icmp_req=9 ttl=255 time=40.5 ms
64 bytes from 192.168.168.2: icmp_req=10 ttl=255 time=45.6 ms
64 bytes from 192.168.168.2: icmp_req=11 ttl=255 time=46.0 ms
64 bytes from 192.168.168.2: icmp_req=12 ttl=255 time=46.7 ms
64 bytes from 192.168.168.2: icmp_req=13 ttl=255 time=49.0 ms
64 bytes from 192.168.168.2: icmp_req=16 ttl=255 time=49.2 ms
64 bytes from 192.168.168.2: icmp_req=17 ttl=255 time=49.4 ms
64 bytes from 192.168.168.2: icmp_req=18 ttl=255 time=49.7 ms
64 bytes from 192.168.168.2: icmp_req=19 ttl=255 time=50.1 ms
64 bytes from 192.168.168.2: icmp_req=22 ttl=255 time=53.5 ms
64 bytes from 192.168.168.2: icmp_req=23 ttl=255 time=54.3 ms
64 bytes from 192.168.168.2: icmp_req=24 ttl=255 time=54.8 ms
64 bytes from 192.168.168.2: icmp_req=25 ttl=255 time=57.4 ms
64 bytes from 192.168.168.2: icmp_req=26 ttl=255 time=57.4 ms
64 bytes from 192.168.168.2: icmp_req=27 ttl=255 time=57.6 ms
64 bytes from 192.168.168.2: icmp_req=28 ttl=255 time=57.9 ms
64 bytes from 192.168.168.2: icmp_req=29 ttl=255 time=58.2 ms
64 bytes from 192.168.168.2: icmp_req=30 ttl=255 time=58.5 ms
64 bytes from 192.168.168.2: icmp_req=31 ttl=255 time=62.1 ms
64 bytes from 192.168.168.2: icmp_req=32 ttl=255 time=62.8 ms
64 bytes from 192.168.168.2: icmp_req=33 ttl=255 time=65.7 ms
64 bytes from 192.168.168.2: icmp_req=34 ttl=255 time=66.0 ms
64 bytes from 192.168.168.2: icmp_req=35 ttl=255 time=66.6 ms
64 bytes from 192.168.168.2: icmp_req=36 ttl=255 time=67.0 ms
64 bytes from 192.168.168.2: icmp_req=38 ttl=255 time=71.3 ms
64 bytes from 192.168.168.2: icmp_req=39 ttl=255 time=71.7 ms
64 bytes from 192.168.168.2: icmp_req=40 ttl=255 time=72.5 ms
64 bytes from 192.168.168.2: icmp_req=41 ttl=255 time=74.5 ms
64 bytes from 192.168.168.2: icmp_req=42 ttl=255 time=74.8 ms
64 bytes from 192.168.168.2: icmp_req=43 ttl=255 time=75.6 ms
64 bytes from 192.168.168.2: icmp_req=44 ttl=255 time=76.2 ms
64 bytes from 192.168.168.2: icmp_req=45 ttl=255 time=80.1 ms
64 bytes from 192.168.168.2: icmp_req=46 ttl=255 time=80.3 ms
64 bytes from 192.168.168.2: icmp_req=47 ttl=255 time=80.5 ms
64 bytes from 192.168.168.2: icmp_req=48 ttl=255 time=81.2 ms
64 bytes from 192.168.168.2: icmp_req=49 ttl=255 time=82.3 ms
64 bytes from 192.168.168.2: icmp_req=50 ttl=255 time=82.6 ms
64 bytes from 192.168.168.2: icmp_req=51 ttl=255 time=84.4 ms
64 bytes from 192.168.168.2: icmp_req=52 ttl=255 time=84.9 ms
64 bytes from 192.168.168.2: icmp_req=53 ttl=255 time=85.0 ms
64 bytes from 192.168.168.2: icmp_req=54 ttl=255 time=85.8 ms
64 bytes from 192.168.168.2: icmp_req=55 ttl=255 time=86.0 ms
64 bytes from 192.168.168.2: icmp_req=56 ttl=255 time=87.1 ms
64 bytes from 192.168.168.2: icmp_req=57 ttl=255 time=87.6 ms
64 bytes from 192.168.168.2: icmp_req=58 ttl=255 time=88.1 ms
64 bytes from 192.168.168.2: icmp_req=59 ttl=255 time=89.1 ms
64 bytes from 192.168.168.2: icmp_req=60 ttl=255 time=91.9 ms
64 bytes from 192.168.168.2: icmp_req=61 ttl=255 time=92.3 ms
64 bytes from 192.168.168.2: icmp_req=62 ttl=255 time=93.3 ms
64 bytes from 192.168.168.2: icmp_req=63 ttl=255 time=93.5 ms
64 bytes from 192.168.168.2: icmp_req=64 ttl=255 time=93.9 ms
64 bytes from 192.168.168.2: icmp_req=65 ttl=255 time=94.5 ms
64 bytes from 192.168.168.2: icmp_req=66 ttl=255 time=94.8 ms
64 bytes from 192.168.168.2: icmp_req=67 ttl=255 time=95.1 ms
64 bytes from 192.168.168.2: icmp_req=68 ttl=255 time=96.7 ms
64 bytes from 192.168.168.2: icmp_req=69 ttl=255 time=97.4 ms
64 bytes from 192.168.168.2: icmp_req=70 ttl=255 time=98.8 ms
64 bytes from 192.168.168.2: icmp_req=71 ttl=255 time=100 ms
64 bytes from 192.168.168.2: icmp_req=72 ttl=255 time=101 ms
64 bytes from 192.168.168.2: icmp_req=73 ttl=255 time=104 ms
64 bytes from 192.168.168.2: icmp_req=74 ttl=255 time=105 ms
64 bytes from 192.168.168.2: icmp_req=75 ttl=255 time=106 ms
64 bytes from 192.168.168.2: icmp_req=76 ttl=255 time=108 ms
64 bytes from 192.168.168.2: icmp_req=77 ttl=255 time=109 ms
64 bytes from 192.168.168.2: icmp_req=78 ttl=255 time=110 ms
64 bytes from 192.168.168.2: icmp_req=79 ttl=255 time=112 ms
64 bytes from 192.168.168.2: icmp_req=80 ttl=255 time=113 ms
64 bytes from 192.168.168.2: icmp_req=81 ttl=255 time=115 ms
64 bytes from 192.168.168.2: icmp_req=82 ttl=255 time=118 ms
64 bytes from 192.168.168.2: icmp_req=83 ttl=255 time=121 ms
64 bytes from 192.168.168.2: icmp_req=84 ttl=255 time=123 ms
64 bytes from 192.168.168.2: icmp_req=85 ttl=255 time=124 ms
64 bytes from 192.168.168.2: icmp_req=86 ttl=255 time=125 ms
64 bytes from 192.168.168.2: icmp_req=87 ttl=255 time=126 ms
64 bytes from 192.168.168.2: icmp_req=88 ttl=255 time=126 ms
64 bytes from 192.168.168.2: icmp_req=89 ttl=255 time=126 ms
64 bytes from 192.168.168.2: icmp_req=90 ttl=255 time=129 ms
64 bytes from 192.168.168.2: icmp_req=91 ttl=255 time=130 ms
64 bytes from 192.168.168.2: icmp_req=92 ttl=255 time=131 ms
64 bytes from 192.168.168.2: icmp_req=93 ttl=255 time=131 ms
64 bytes from 192.168.168.2: icmp_req=94 ttl=255 time=132 ms
64 bytes from 192.168.168.2: icmp_req=95 ttl=255 time=134 ms
64 bytes from 192.168.168.2: icmp_req=96 ttl=255 time=136 ms
64 bytes from 192.168.168.2: icmp_req=97 ttl=255 time=137 ms
64 bytes from 192.168.168.2: icmp_req=98 ttl=255 time=139 ms
64 bytes from 192.168.168.2: icmp_req=99 ttl=255 time=139 ms
64 bytes from 192.168.168.2: icmp_req=100 ttl=255 time=140 ms
64 bytes from 192.168.168.2: icmp_req=101 ttl=255 time=146 ms
64 bytes from 192.168.168.2: icmp_req=102 ttl=255 time=147 ms
64 bytes from 192.168.168.2: icmp_req=103 ttl=255 time=150 ms
64 bytes from 192.168.168.2: icmp_req=104 ttl=255 time=153 ms
64 bytes from 192.168.168.2: icmp_req=105 ttl=255 time=154 ms
64 bytes from 192.168.168.2: icmp_req=106 ttl=255 time=156 ms
64 bytes from 192.168.168.2: icmp_req=107 ttl=255 time=157 ms
64 bytes from 192.168.168.2: icmp_req=108 ttl=255 time=157 ms
64 bytes from 192.168.168.2: icmp_req=109 ttl=255 time=159 ms
64 bytes from 192.168.168.2: icmp_req=110 ttl=255 time=161 ms
64 bytes from 192.168.168.2: icmp_req=111 ttl=255 time=162 ms
64 bytes from 192.168.168.2: icmp_req=112 ttl=255 time=163 ms
64 bytes from 192.168.168.2: icmp_req=113 ttl=255 time=163 ms
64 bytes from 192.168.168.2: icmp_req=114 ttl=255 time=164 ms
64 bytes from 192.168.168.2: icmp_req=115 ttl=255 time=166 ms
64 bytes from 192.168.168.2: icmp_req=116 ttl=255 time=167 ms
64 bytes from 192.168.168.2: icmp_req=117 ttl=255 time=170 ms
64 bytes from 192.168.168.2: icmp_req=118 ttl=255 time=170 ms
64 bytes from 192.168.168.2: icmp_req=119 ttl=255 time=171 ms
64 bytes from 192.168.168.2: icmp_req=120 ttl=255 time=173 ms
64 bytes from 192.168.168.2: icmp_req=121 ttl=255 time=174 ms
64 bytes from 192.168.168.2: icmp_req=122 ttl=255 time=176 ms
64 bytes from 192.168.168.2: icmp_req=123 ttl=255 time=177 ms
64 bytes from 192.168.168.2: icmp_req=124 ttl=255 time=178 ms
64 bytes from 192.168.168.2: icmp_req=125 ttl=255 time=179 ms
64 bytes from 192.168.168.2: icmp_req=126 ttl=255 time=180 ms
64 bytes from 192.168.168.2: icmp_req=127 ttl=255 time=182 ms
64 bytes from 192.168.168.2: icmp_req=128 ttl=255 time=183 ms
64 bytes from 192.168.168.2: icmp_req=129 ttl=255 time=186 ms
64 bytes from 192.168.168.2: icmp_req=130 ttl=255 time=187 ms
64 bytes from 192.168.168.2: icmp_req=131 ttl=255 time=188 ms
64 bytes from 192.168.168.2: icmp_req=132 ttl=255 time=189 ms
64 bytes from 192.168.168.2: icmp_req=133 ttl=255 time=190 ms
64 bytes from 192.168.168.2: icmp_req=134 ttl=255 time=192 ms
64 bytes from 192.168.168.2: icmp_req=135 ttl=255 time=192 ms
64 bytes from 192.168.168.2: icmp_req=136 ttl=255 time=192 ms
64 bytes from 192.168.168.2: icmp_req=137 ttl=255 time=193 ms
64 bytes from 192.168.168.2: icmp_req=138 ttl=255 time=197 ms
64 bytes from 192.168.168.2: icmp_req=139 ttl=255 time=200 ms
64 bytes from 192.168.168.2: icmp_req=140 ttl=255 time=201 ms
64 bytes from 192.168.168.2: icmp_req=141 ttl=255 time=201 ms
64 bytes from 192.168.168.2: icmp_req=142 ttl=255 time=205 ms
64 bytes from 192.168.168.2: icmp_req=143 ttl=255 time=208 ms
64 bytes from 192.168.168.2: icmp_req=144 ttl=255 time=209 ms
64 bytes from 192.168.168.2: icmp_req=145 ttl=255 time=210 ms
64 bytes from 192.168.168.2: icmp_req=146 ttl=255 time=213 ms
64 bytes from 192.168.168.2: icmp_req=147 ttl=255 time=216 ms
64 bytes from 192.168.168.2: icmp_req=148 ttl=255 time=217 ms
64 bytes from 192.168.168.2: icmp_req=149 ttl=255 time=218 ms
64 bytes from 192.168.168.2: icmp_req=150 ttl=255 time=219 ms
64 bytes from 192.168.168.2: icmp_req=151 ttl=255 time=220 ms
64 bytes from 192.168.168.2: icmp_req=152 ttl=255 time=222 ms
64 bytes from 192.168.168.2: icmp_req=153 ttl=255 time=223 ms
64 bytes from 192.168.168.2: icmp_req=154 ttl=255 time=226 ms
64 bytes from 192.168.168.2: icmp_req=155 ttl=255 time=226 ms
64 bytes from 192.168.168.2: icmp_req=156 ttl=255 time=227 ms
64 bytes from 192.168.168.2: icmp_req=157 ttl=255 time=231 ms
64 bytes from 192.168.168.2: icmp_req=158 ttl=255 time=233 ms
64 bytes from 192.168.168.2: icmp_req=159 ttl=255 time=234 ms
64 bytes from 192.168.168.2: icmp_req=160 ttl=255 time=236 ms
64 bytes from 192.168.168.2: icmp_req=161 ttl=255 time=239 ms
64 bytes from 192.168.168.2: icmp_req=162 ttl=255 time=240 ms
64 bytes from 192.168.168.2: icmp_req=163 ttl=255 time=243 ms
64 bytes from 192.168.168.2: icmp_req=164 ttl=255 time=244 ms
64 bytes from 192.168.168.2: icmp_req=165 ttl=255 time=245 ms
64 bytes from 192.168.168.2: icmp_req=166 ttl=255 time=246 ms
64 bytes from 192.168.168.2: icmp_req=167 ttl=255 time=247 ms
64 bytes from 192.168.168.2: icmp_req=168 ttl=255 time=248 ms
64 bytes from 192.168.168.2: icmp_req=169 ttl=255 time=249 ms
64 bytes from 192.168.168.2: icmp_req=170 ttl=255 time=249 ms
^C64 bytes from 192.168.168.2: icmp_req=171 ttl=255 time=253 ms

--- 192.168.168.2 ping statistics ---
1937 packets transmitted, 166 received, 91% packet loss, time 45ms
rtt min/avg/max/mdev = 24.320/133.405/253.478/64.199 ms, pipe 1937

Может его убить флуд в сети так???
Грешу на большой исходящий трафик.
Показал бы конфиг но cacti его не видит. и SNMP не заходит. Вебморда тоже(((((

6   112   115   Down   0d 0h 5m   192.168.168.2   1926.76   377.1   72.79

На скрине нагрузка только внешнего интерфейса.

[оформляем посты правильно]


Название: Re: Что взять в ядро.
Отправлено: Belos от 05 Января 2013, 22:59:47
управление в отдельном влане?


Название: Re: Что взять в ядро.
Отправлено: andromeda от 05 Января 2013, 23:15:46
нет( В первый порт сервер воткнут. Ладно кактус статистику срежит завтра буду разбираться с трафиком.
как по мне то 70 мб отдачи это много...
По загрузке мы далеко еще от полки но скорость в сети значительно упала. Грешу на тазик или свичь завтра займусь тестами. т.к. подключен к свичу напрямую через медик оптика порт. и пинг к нему 17 мс.
Завтра конфиг железяки покажу.


Название: Re: Что взять в ядро.
Отправлено: stix от 05 Января 2013, 23:21:57
да не в порт, а интерфейс, vlan.
managment vlan имелось ввиду


Название: Re: Что взять в ядро.
Отправлено: andromeda от 05 Января 2013, 23:26:12
не я понял нет. я про то если в дефолт упадет то зайти на него 10.90.90.90 можно только с 1 интерфейса вроде.


Название: Re: Что взять в ядро.
Отправлено: andromeda от 05 Января 2013, 23:31:18
Что это за график? беру с ядра сейчас Viewing Graph 'Memory Usage'
Кто знает что это за срез со свича о чем он мне сказать должен..????


Название: Re: Что взять в ядро.
Отправлено: stix от 05 Января 2013, 23:34:55
Viewing Graph 'Memory Usage'
Это с сервака ты давал график
Цитировать
не я понял нет. я про то если в дефолт упадет то зайти на него 10.90.90.90 можно только с 1 интерфейса вроде.
по-моему не понял

менеджмент влан отдельно идет?


Название: Re: Что взять в ядро.
Отправлено: andromeda от 05 Января 2013, 23:38:03
Viewing Graph 'Memory Usage'
Это с сервака ты давал график
Цитировать
не я понял нет. я про то если в дефолт упадет то зайти на него 10.90.90.90 можно только с 1 интерфейса вроде.
по-моему не понял

менеджмент влан отдельно идет?
Нет график с свича.
Отдельного влана нет или я про него не знаю еще.))


Название: Re: Что взять в ядро.
Отправлено: andromeda от 05 Января 2013, 23:53:19
для идиотов что такое квагу- в сети только про мульт какой то?


Название: Re: Что взять в ядро.
Отправлено: stix от 05 Января 2013, 23:53:52
для идиотов что такое квагу- в сети только про мульт какой то?
у меня такое чувство, что это стеб

http://ru.wikipedia.org/wiki/Quagga


Название: Re: Что взять в ядро.
Отправлено: andromeda от 05 Января 2013, 23:56:08
для идиотов что такое квагу- в сети только про мульт какой то?
у меня такое чувство, что это стеб

http: //ru.wikipedia.org/wiki/Quagga
я вполне серьезно http: //images.yandex.ua/yandsearch?text=%D0%BA%D0%B2%D0%B0%D0%B3%D0%B0&stype=image&lr=146&noreask=1
Буду почитать. в вике спасибо.


Название: Re: Что взять в ядро.
Отправлено: andromeda от 06 Января 2013, 00:02:00
Так завтра выложу конфиг свича. Таблицы маршрутов на сервере и правили Firewall и что нибудь еще, посмотрим где костыль.


Название: Re: Что взять в ядро.
Отправлено: Belos от 06 Января 2013, 00:18:00
Ох, вы столько написали... И без пунктуаций, что многое и не понял  :)


Название: Re: Что взять в ядро.
Отправлено: Cell от 06 Января 2013, 03:08:43
Ты про какие-то смешные трафики расказываешь... 3120 нормально жует трафик 300-400 мбит. Но он хреново себя чувствует при разного рода флудах и петлях. Включи на всех юзерских портах loopback detect. Включи шторм контроль, включи трафик сегментейшен (настроить иссно надо). И посмотришь результат. В лог свича иногда полезно заглядывать. Если у тебя какой-нить пор начнет раз в минуту отключаться )))) ищи в нем петлю. А вообще в таких случаях когда уже и управление недоступно - нужно бомбить по площадям, выдергивая из свича разные направления по очереди. Поверь, тоже помогает )


Название: Re: Что взять в ядро.
Отправлено: stix от 06 Января 2013, 21:28:05
кстати
http://local.com.ua/forum/topic/38269-%D0%BF%D1%80%D0%BE%D0%B4%D0%B0%D0%BC-cisco-6509-%D0%BC%D0%BE%D0%B4%D1%83%D0%BB%D0%B8/

всего 2000$


Название: Re: Что взять в ядро.
Отправлено: andromeda от 07 Января 2013, 00:08:20
кстати
http: //local.com.ua/forum/topic/38269-%D0%BF%D1%80%D0%BE%D0%B4%D0%B0%D0%BC-cisco-6509-%D0%BC%D0%BE%D0%B4%D1%83%D0%BB%D0%B8/

всего 2000$
Уже 1200 хотят.