>Infiniband вне сферы моих интересов, так что не в курсе.

Ну тогда представь что у тебя есть карточка со своей наборной памятью, которая умеет быть PCIe bus master, и умеет получать команды в виде {phys_addr, size} для передачи в сеть. эти командочки могут объединяться в цепочки причем требований к последовательности адресов в соседних командах нету, только в пределах одной команды.

> Зато более-менее в курсе что есть dma-buf. Это такое api для совместного использования буфера (потенциально подпертого DMA) на несколько железок.

скорее "менее" чем более. Тогда знал бы что DMA-BUF использует память хоста. Да - потенциально можно гонять на разные железки - но память хоста. Ибо сделано под наколеночные решения Intel - у которых видюха живет в памяти хоста.

>Они что, PCI BAR по сети хотят гнать?

ДА. И гоняют. Причем в отличии от этой наколенной реализации, реализация over IB позволяет гонять совершенно произвольный размер заголовка, а не fixed size & TCP only как в прототипе от facebook.

> А это вообще эффективно?

Как не странно да - особенно на последних AMD. Когда данные не гоняются 2 раза по PCIe - сначала в память хоста, а потом в память сетевухи. При этом Хост может еще и обмениваться с каким нить NVMe потоком данных. Детали можно почитать на сайте Nvidia/Mellanox по слову GPU direct.

Ну и что-то там намерил товарищ из Facebook - тоже интересные цифры.