> Например у меланокса есть 40Г infiniband уже давно.

Infiniband и ethernet - очень разные технологии. И люди берут 10GE вместо 40G IB по той же цене потому, что им нужен именно ethernet.

> Обратной же стороной монеты всей этой классности infiniband-а есть плохая совместимость

У IB изначально не было задачи быть совместимым с эзернетов. Потому и удалось добиться низких задержек и высоких скоростей столь малыми усилиями (IB активно разрабатывают полторы компании)..

> отсутствие принятия этого чуда, как стандарта везде и вся

У IB стандарт есть. А если ты про распространенность, то IB очень распространен в HPC.

> Особенно это ощущается, когда приобретаешь такой свич без сабнет менеджера. Тут-то ты и начинаешь его собирать сам, держать под это серверы и мучаться

Сабнет менеджер в свитче не нужен (тем более, один единственный). OpenSM есть во многих дистрибутивах и выделить пару серверов (для отказоустойчивости) под него не проблема, тем более, что настраивается он до состояния "взлетел" очень просто. И, потом, на этих же серверах можно заодно и инфраструктурные сервисы, вроде DHCP и DNS, держать.