Проект Open Compute (http://opencompute.org/) представил (http://opencompute.org/blog/progress-in-opening-up-the-network-/) первые работы, предложенные в рамках инициативы по созданию открытого сетевого коммутатора, рассчитанного на обслуживание серверной стойки (top-of-rack). Из наиболее интересных работ, отмечены проекты открытых коммутаторов от компаний Broadcom, Intel и Mellanox. Данные проекты пока находятся на стадии рассмотрения инкубационным комитетом Open Compute и будут опубликованы (http://www.opencompute.org/projects/networking/) после утверждения.
Проект компании Intel описывает коммутатор с 48 портами 10 Gigabit Ethernet и 4 портами 40 Gigabit Ethernet, включая описание подсистем коммутации пакетов, управляющий CPU, периферийные модули, внешние интерфейсы, системы охлаждения и питания и корпус. Доступен готовый пример (http://www.intel.com/content/www/us/en/switch-silicon/onp-sw...) созданного на базе представленных спецификаций коммутатора, скомпонованного из комплектующих Intel. Проект Broadcom базируется на типовой архитектуре Trident (http://www.broadcom.com/products/Switching/Data-Center). Предложение Mellanox базируется на продукте SwitchX-2 (http://www.mellanox.com/page/products_dyn?product_family=145...), примечательном использованием архитектуры x86.Проект Open Compute был запущен компанией Facebook с целью развития набора открытых спецификаций для компонентов, используемых для оснащения датацентров. При создании спецификаций, упор делается на обеспечение максимальной эффективности работы инфраструктуры при минимальных затратах. Все развиваемые проектом спецификации распространяются в соответствии с условиями Open Web Foundation, подразумевающими полную передачу в безвозмездное пользование всей связанной с разработкой интеллектуальной собственности и патентов. CAD-файлы с дизайном оборудования доступны под лицензией Creative Commons Attribution 3.0.
URL: http://opencompute.org/blog/progress-in-opening-up-the-network-/
Новость: https://www.opennet.ru/opennews/art.shtml?num=38421
> Проект Intel описывает коммутатор с 48 портами 10 Gigabit Ethernet и 4 портами 40 Gigabit Ethernet40G ethernet умер, не родившись. Стоимость решений приблизительно эквивалентна 100G ethernet'у.
оффтоп:
А Openflow кто-нибудь там планирует, кстати?
> 40G ethernet умер, не родившись.
> Стоимость решений приблизительно эквивалентна 100G ethernet'у.Угу-угу. А это ничего, что 100 Гбит/сек не влезает по полосе в стандартную DWDM'ную нарезку?
>> 40G ethernet умер, не родившись.
>> Стоимость решений приблизительно эквивалентна 100G ethernet'у.
> Угу-угу. А это ничего, что 100 Гбит/сек не влезает по полосе в
> стандартную DWDM'ную нарезку?На самом деле, ничего. Далеко не все используют DWDM, из-за сумасшедшей стоимости решений, в том числе. Дешевле перейти на N*100G линков.
Есть конечно ряд случаев, когда без *WDM не обойтись, но это далеко не 100% даже на магистралях крупных провайдеров.
Не дешевле. Прокладка кабеля, если закончатся волокна дороже выйдет. И лямбды - норма жизни даже у не крупных магистральных провайдеров.
Извините, а сколько портов хотя бы 10 Gb/s в сети Вашей компании?
У нас, например, максимальный поток - транк из 8*1Gb/s портов... При этом ни одного даже 10-Gb интерфейса нет. Но мы торгово-производственная компания, а не провайдер/хостер.
Поэтому весьма интересно, у кого это 40 GB/s ethernet уже умер и успел уступить место 100-Gb/s...
> не провайдер/хостер.А мордокнига только отгрузкой контента и живет. Для вас это вспомогательная фигня, а для них это центр вселенной.
Только отгрузкой контента живёт Akamai. Мордокнига живёт много чем ещё. Ваш К.О.
> У нас, например, максимальный поток - транк из 8*1Gb/s портов...На заметку - попробуйте посмотреть в сторону оптических линков на 10Gb/s.
> Извините, а сколько портов хотя бы 10 Gb/s в сети Вашей компании?
> У нас, например, максимальный поток - транк из 8*1Gb/s портов... При этом
> ни одного даже 10-Gb интерфейса нет. Но мы торгово-производственная компания, а
> не провайдер/хостер.
> Поэтому весьма интересно, у кого это 40 GB/s ethernet уже умер и
> успел уступить место 100-Gb/s...Много, несколько сотен будет. С 10G переходили сразу на 100G, без промежуточного звена.
К примеру, ASR9K с 100G портами стоит ДЕШЕВЛЕ 65-го каталиста (между прочим, практически устаревшая платформа) с SUP2T.
> 40G ethernet умер, не родившись. Стоимость решений приблизительно эквивалентна 100G ethernet'у.у меланокса оно идет почти бесплатным довеском к IB картам. Учитывая возможность OFED over Eth - выходит очень вкусно, только не скем не совместимо :)
А кто подскажет решение для программного коммутатора?
т.е. есть сервер, в котором допустим 5 сетевух - хочу с него коммутатор, с плюшками :)
Огласите список плюшек для начала.
это я образно )
просто интересно -есть ли подобная реализация и что умеет. для плюшек - можно поставить любой дистрибутив - роутер
Linux - Плюшка OC.
> т.е. есть сервер, в котором допустим 5 сетевух - хочу с него коммутатор, с плюшками :)Из сервера? Ну вкатите на него wyatta какую-нибудь. Получите супер-дупер-роутер и кучу всего еще.
Стрельба из пушки по воробьям же. Сказал бы: есть древнючий комп и несколько гигабитных сетевушек, а также какой-то диск с линуксом... Хотя нет уже все сделал. Вопрос закрыт"
Даже в этих их коробках на 40 гигабит вряд-ли что-то мощнее атомов (ну может многоядерных) стоит.
Коммутация пакетов на wire speed несколько дороже по ресурсам, чем ты себе представляешь. Атом вряд ли прожует поток больше пяти гигабит из фремов в 1500 между ВСЕМИ портами.
И, вообще, процессор - не единственное узкое место. Есть еще, как минимум, шина, которая в серверах не резиновая и не рассчитана на обеспечение одновременной работы всех портов на полной скорости.В общем, у свитчей архитектура отличается от серверной не просто так. Там достаточно много работы перекладывается на ASIC-и, а также много внимания уделяется тому, чтобы фабрика коммутации не стала узким местом. Сам прикинь: пропускная способность внутренней шины для 48-портового 10G свитча должны быть 960G. В серверах такие шины не водятся.
К тому же, у сетевой подсистемы линукса также есть ограничения на масштабируемость. Они, конечно, достаточно высоки, чтобы использовать серверы с линуксом в качестве роутеров, но до требований 48-портовых 10G свитчей, увы, не дотягивает.
Тогда затея обретает смысл, раз на коленке такое не собрать из доступного железа и софта.
apt-get install bridge-utils
man brctl
A также apt-get install ebtables
Хм. И нафик оно нужно. Мне, профессиональному NOC-у как-то побоку что там у свитча в потрохах происходит. И уж тем более мне хватает других забот чем ему прошивку переписывать.
> Хм. И нафик оно нужно. Мне, профессиональному NOC-у как-то побоку что там
> у свитча в потрохах происходит. И уж тем более мне хватает
> других забот чем ему прошивку переписывать.Поэтому ты всего лишь "профессиональный NOC", которому до масштабов мордокниги и компании - как пешком до пекина.
>>Поэтому ты всего лишь "профессиональный NOC", которому до масштабов мордокниги и компании - как пешком до пекина.Вообще смысл понятен - максимальная эффективность при минимальных затратах. То есть срабатывает принцип что когда на шару то соотношение качество/цена близится к бесконечности. Вопрос только в том что я сильно сомневаюсь, что по соотношению цена к реальному качеству они хотя бы близко дотянут до самой кисленькой железки профессионального уровня, той же сиськи.
> Вообще смысл понятен - максимальная эффективность при минимальных затратах. То есть срабатывает
> принцип что когда на шару то соотношение качество/цена близится к бесконечности.
> Вопрос только в том что я сильно сомневаюсь, что по соотношению
> цена к реальному качеству они хотя бы близко дотянут до самой
> кисленькой железки профессионального уровня, той же сиськи.сиська не халявная. если они сделают коммутатор сопоставимый, но дешевле это уже выигрыш для FB.
сопоставимость же очень зависит от задач и ситуации.
PS Linux дотянулся до серверных ОС, не смотря на то, что ОпенСорс. (аналогия Linux VS proprietary и Сабж VS Cisco).
> PS Linux дотянулся до серверных ОС, не смотря на то, что ОпенСорс.
> (аналогия Linux VS proprietary и Сабж VS Cisco).подтянулся на столько что Cisco позволяет ему работать аж в мордой управления комутатором :)
>> PS Linux дотянулся до серверных ОС, не смотря на то, что ОпенСорс.
>> (аналогия Linux VS proprietary и Сабж VS Cisco).
> подтянулся на столько что Cisco позволяет ему работать аж в мордой управления
> комутатором :)Ага, и гипервизором в ASR'ах.
> Вообще смысл понятен - максимальная эффективность при минимальных затратах. То есть срабатывает
> принцип что когда на шару то соотношение качество/цена близится к бесконечности.Не только.
Даже в IOS недешовых шеститонников есть ошибки и неочевидные места.
Открытый маршрутизатор с открытой прошивкой поможет получить более качественный продукт.
В перспективе.
>> Вообще смысл понятен - максимальная эффективность при минимальных затратах. То есть срабатывает
>> принцип что когда на шару то соотношение качество/цена близится к бесконечности.
> Не только.
> Даже в IOS недешовых шеститонников есть ошибки и неочевидные места.Которые оперативно закрываются и обновляются, FYI.
> Открытый маршрутизатор с открытой прошивкой поможет получить более качественный продукт.
Щаз. Правильно писать - "теоретически".
> В перспективе.Правильно говорить - "возможно".
> Которые оперативно закрываются и обновляются, FYI.И тут же возникают новые баги в новых местах. Да ещё надо платить денюжку за обновление забагованного иоса.
Или за последние несколько лет всё настолько улучшилось, что цискари советуют регулярно иос обновлять, а не сидеть на том что работает хоть как-то?
> Которые оперативно закрываются и обновляются, FYI.Скажите это нашим сетевыи инженерам, которые поставили запрос на устранение баги в шеститоннике и получили ответ "где-то в следующем релизе".
> Хм. И нафик оно нужно. Мне, профессиональному NOC-у как-то побоку что там
> у свитча в потрохах происходит. И уж тем более мне хватает
> других забот чем ему прошивку переписывать.Видимо ты недостаточно профессиональный NOC. В яндексе ноки, например, пишут сетевые драйверы.
Чего-чего они там пишут?!
Xyuтy они там пишут.
И вообще - не лезь в разговоры взрослых дяденек, пацан. У тебя слишком иллюзорное восприятие действительности.
> Чего-чего они там пишут?!
> Xyuтy они там пишут.
> И вообще - не лезь в разговоры взрослых дяденек, пацан. У тебя
> слишком иллюзорное восприятие действительности.Вот новость
https://www.linux.org.ru/news/bsd/2182914Вот драйвер
http://people.yandex-team.ru/~wawa/
> Мне, профессиональному NOC-у как-то побоку что там у свитча в потрохах происходит.Дай вам бог и дальше быть побоку и не вляпываться во всякие errata и списки known issues.
Странно видеть в одной строке слова Open и Broadcom.
Не иначе - что-то в лесу сдохло.
Совесть, что же еще...
> Совесть, что же еще...А она у них когда-нибудь была?
Что касается мертворожденности 40гигабит и у кого они стоят, то тут скорее речь идёт о том, что далеко не у всех есть 10Г и пока этот самый 10Г набирал популярности, планомерно вставая в аплинки стоек, 40Гб был, но был мало распространен. Например у меланокса есть 40Г infiniband уже давно. Несколько лет назад на нем сторадж собирал я. Он сравним по цене с 10Г свичами, но предоставляет вчетверо большую пропускную способность. Да что там скорость, многократно более низкую латентность. Но люди все-равно выбирают 10Г, так как это и так больше чем нужно, а решение все-таки стандартное. Вот пришло время недорогих vpi решений от меланокс, но уже есть и 100Г варианты.
Обратной же стороной монеты всей этой классности infiniband-а есть плохая совместимость и отсутствие принятия этого чуда, как стандарта везде и вся. Особенно это ощущается, когда приобретаешь такой свич без сабнет менеджера. Тут-то ты и начинаешь его собирать сам, держать под это серверы и мучаться, купив вроде ж бы тот же меланокс, но от другого вендора(я про второй свич или сетевку). Так что желание получить какой-то открытый стандарт для сети вычислительных НОД - это более чем похвальная идея. Сейчас мы об этом не думаем и многое из того что есть, воспринимаем как должное. Причём делаем это совершенно не задумываясь о том, что когда-то это стало таким же открытым стандартом как сейчас, возможно, станут вот эти свичи.
> Сейчас мы об этом не думаем и многое из тогоЭто ты не думаешь. А мы думаешь! Чем больше геморроя с железом,
софтом и вообще глюков - тем больше у нас работы :D
> Например у меланокса есть 40Г infiniband уже давно.Infiniband и ethernet - очень разные технологии. И люди берут 10GE вместо 40G IB по той же цене потому, что им нужен именно ethernet.
> Обратной же стороной монеты всей этой классности infiniband-а есть плохая совместимость
У IB изначально не было задачи быть совместимым с эзернетов. Потому и удалось добиться низких задержек и высоких скоростей столь малыми усилиями (IB активно разрабатывают полторы компании)..
> отсутствие принятия этого чуда, как стандарта везде и вся
У IB стандарт есть. А если ты про распространенность, то IB очень распространен в HPC.
> Особенно это ощущается, когда приобретаешь такой свич без сабнет менеджера. Тут-то ты и начинаешь его собирать сам, держать под это серверы и мучаться
Сабнет менеджер в свитче не нужен (тем более, один единственный). OpenSM есть во многих дистрибутивах и выделить пару серверов (для отказоустойчивости) под него не проблема, тем более, что настраивается он до состояния "взлетел" очень просто. И, потом, на этих же серверах можно заодно и инфраструктурные сервисы, вроде DHCP и DNS, держать.
>> Например у меланокса есть 40Г infiniband уже давно.
> Infiniband и ethernet - очень разные технологии. И люди берут 10GE вместо
> 40G IB по той же цене потому, что им нужен именно
> ethernet.а может скажете это меланоксу? Conect-2 - умеет одно и другое на одной железке :) и сверху выглядит одинаково OFED стеком.
>> Обратной же стороной монеты всей этой классности infiniband-а есть плохая совместимость
> У IB изначально не было задачи быть совместимым с эзернетов. Потому и
> удалось добиться низких задержек и высоких скоростей столь малыми усилиями (IB
> активно разрабатывают полторы компании)..полторы? вы шутите.. OFED альянс далеко больше :-) да и производителей железо как мне помнится около 5.
>> отсутствие принятия этого чуда, как стандарта везде и вся
> У IB стандарт есть. А если ты про распространенность, то IB очень
> распространен в HPC.IB распространен там где нужны маленькие задержки - в iSCSI, в стойках от netup/emc и тп..
это даже не HPC :-)>> Особенно это ощущается, когда приобретаешь такой свич без сабнет менеджера. Тут-то ты и начинаешь его собирать сам, держать под это серверы и мучаться
> Сабнет менеджер в свитче не нужен (тем более, один единственный). OpenSM есть
> во многих дистрибутивах и выделить пару серверов (для отказоустойчивости) под него
> не проблема, тем более, что настраивается он до состояния "взлетел" очень
> просто. И, потом, на этих же серверах можно заодно и инфраструктурные
> сервисы, вроде DHCP и DNS, держать.вы OpenSM настраивали? тестировали с большой нагрузкой (ну.. хотя бы тысячи 2-3 нод) ?
там такие чудеса :-)
>>> Например у меланокса есть 40Г infiniband уже давно.
>> Infiniband и ethernet - очень разные технологии. И люди берут 10GE вместо
>> 40G IB по той же цене потому, что им нужен именно
>> ethernet.
> а может скажете это меланоксу? Conect-2 - умеет одно и другое на
> одной железке :) и сверху выглядит одинаково OFED стеком.
>а может скажете это меланоксу? Conect-2 - умеет одно и другое на одной железке :) и сверху выглядит одинаково OFED стеком.Я говорю про то, что выглядят эти стеки протоколов сильно по-разному для пользователей. Большинству пользователей, которым нужен ethernet, фичи IB нфиг не сдались.
> полторы? вы шутите.. OFED альянс далеко больше :-) да и производителей железо
> как мне помнится около 5.Я знаю полторы компании: mellanox и qlogic (эта за половину сойдет). Остальные, типа, производители, делают железо на основе технологий этих двух. А в альянсе может хоть моя собака состоять, но пилить из-за этого IB она не начнет. И, даже если принять аргумент о количестве членов IBTA, вендоров ethernet-технологий все равно больше, и распространены они шире (что дает преимущество в цене при массовом производстве), и база лояльных пользователей, заинтересованных в развитии, просто огромна. И все равно IB обскакал ethernet, поскольку не надрачивал на совместимость с ним.
>>> отсутствие принятия этого чуда, как стандарта везде и вся
>> У IB стандарт есть. А если ты про распространенность, то IB очень
>> распространен в HPC.
> IB распространен там где нужны маленькие задержки - в iSCSI, в стойках
> от netup/emc и тп..
> это даже не HPC :-)iSCSI поверх iPoIB - это извращение. Хоть iSER для приличия упомянул бы.
>>> Особенно это ощущается, когда приобретаешь такой свич без сабнет менеджера. Тут-то ты и начинаешь его собирать сам, держать под это серверы и мучаться
>> Сабнет менеджер в свитче не нужен (тем более, один единственный). OpenSM есть
>> во многих дистрибутивах и выделить пару серверов (для отказоустойчивости) под него
>> не проблема, тем более, что настраивается он до состояния "взлетел" очень
>> просто. И, потом, на этих же серверах можно заодно и инфраструктурные
>> сервисы, вроде DHCP и DNS, держать.
> вы OpenSM настраивали? тестировали с большой нагрузкой (ну.. хотя бы тысячи 2-3
> нод) ?
> там такие чудеса :-)OpenSM настраивал. Он, конечно, заковыристый местами, но для быстрого взлета настройки почти не требует.
С тысячами нод не работал, но с сотнями имел дело. Чудеса с OpenSM были, но с производительностью не связаные.
>Несколько лет назад на нем сторадж собирал яЗачем джедаям стораджи?
Джедаям они(стораджи), может и не к чему, но тем, кто мне за это деньги платил, оно было нужно. А поскольку джедай должен быть существом высокоморальным, денег за это брать он не мог. По этому я не понимаю, как джедаи относятся ко мне.
Или это был намёк на то, что мои заказчики были в тайне джедаями и Вам крайне интересно, зачем же им был нужен сторадж? (Вопрос риторический. Отвечать не обязательно)
> Да что там скорость, многократно более низкую латентность.
> Но люди все-равно выбирают 10Г, так как это и так больше
> чем нужно, а решение все-таки стандартное. Вот пришло время недорогих vpi
> решений от меланокс, но уже есть и 100Г варианты.Нету. Во всяком случае 2 недели назад представители Меланокс говорили что не готовы дать ничего на пробу, ибо просто нету живых устройств - так что FDR нонче макс что можно выжать.
> коммутатор с 48 портами 10 Gigabit Ethernet и 4 портами 40 Gigabit EthernetНу наконец-то, теперь осталось качнуть исходники и собрать дома на коленке из рассыпухи. :)
а как к этому процессу готносится циска ?
> а как к этому процессу готносится циска ?Как оычно: говорят, что они далеко впереди.
''Cisco has thus far professed to be unbothered by the Open Compute Project. Cisco has gotten involved in open networking projects such as OpenDaylight and says it will offer compelling alternatives to Open Compute. "What we will not do is leave that concept alone like we did SDN and allow other people to gain the high ground and then play defense,” Cisco CEO John Chambers told Network World in July. “This one you will see us out ahead of the game on.”
>> а как к этому процессу готносится циска ?
> Как оычно: говорят, что они далеко впереди.
> ''Cisco has thus far professed to be unbothered by the Open Compute
> Project. Cisco has gotten involved in open networking projects such as
> OpenDaylight and says it will offer compelling alternatives to Open Compute.
> "What we will not do is leave that concept alone like
> we did SDN and allow other people to gain the high
> ground and then play defense,” Cisco CEO John Chambers told Network
> World in July. “This one you will see us out ahead
> of the game on.”В разработке открытого сетевого железа циска ушла далеко вперед, но результаты являются коммерческой тайной и доступны только под NDA.
> а как к этому процессу готносится циска ?А им просто пофиг. Их покупали, покупают и покупать будут все те, кому надо результат, а не на процесс онанировать.
>> а как к этому процессу готносится циска ?
> А им просто пофиг. Их покупали, покупают и покупать будут все те,
> кому надо результат, а не на процесс онанировать.http://www.cnews.ru/top/2013/11/15/prodazhi_cisco_v_rossii_r...
Продажи Cisco в России рухнули.
Объем продаж Cisco Systems в России упал на 30% в сравнении с прошлым годом. Выручка в развивающихся странах, в которые, помимо России входят Бразилия, Мексика, Индия и Китай, сократилась на 21%.
Очередной хлам. Да и по сути, среди коммутаторов (если все-таки отвлечься от попаболи по проприетарным продуктам), есть из чего выбрать:
- начиная от вполне доступных по цене и достойных по качеству Dlink (с ними просто-напросто, стало проще: железка или не работает совсем или ворочает свой L2 без нареканий) + какие-то Ваши собственные dlink'о аналоги, благо их дофига и больше. Dell powerconnect (цена/качество доставляют + отсутствие огороженности использования сторонних SFP-модулей, по причине... и так понятно какой)
- средний класс - это всякое добро от Alcatel-Lucent до ... cisco
- топ класс juniper/почивший в бозе force10, ныне dell force10/extreme networksА вот касательно ниши роутеров. Топ-роутеров. Полный тухляк. Сюда бы конкурентную продукцию, иначе имеем, что имеем:
- Juniper. Раз уж топ, то сразу говорим, что необходимым условием является, по крайней мере, RE-резервирование, то есть остались лишь MX240/MX480/MX960. Отдельный профит есть с устройств, в которых не требуются over-1g порты и/или можно обойтись аггрегацией, M20/M40...
- Cisco. Все теже шеститонник, да 76ая. Много лет уже мозолят глаза, ничего нового.
- Force10 e300 (помер)/e600(i)/e1200(i). Сюда им напару Brocade NetIron. Ничего толком не умеют, но на молотилку трафика сойдут.
Ииии, собсно все. В этой нише кончились варианты. Вот такой отстой. А тут "открытый свитч". Хренотня, кароч.
Тебе же синим по желтому написали, top of the rack switch (стоечный свитч). Что непонятного?
Нет, блин, все равно надо поверещать под M-серию джуновских коммутаторов уровня ядра оператора.
Писатель - не читатель.
> среди коммутаторов есть из чего выбрать ...
> А вот касательно ниши роутеров. Топ-роутеров. Полный тухляк. Сюда бы конкурентную продукцию
Даже триклятые длинки вспомнили, а хуавей какже.
Вот уж точно -- не читатель.
asr9k, а теперь ещё и NCS не существуют.
N7k только кажутся.
Весь мир -- плод воображения.
> Dell powerconnect (цена/качество доставляют + отсутствие
> огороженности использования сторонних SFP-модулей, по причине... и так понятно какой)Кстати, по какой причине? Мне непонятно! Почему HP не принимает чужой модуль (и кабель!), а с Dell нет проблем?