Homa: Das Ende von TCP für KI-Cluster
Homa: The end of TCP for AI clusters [video]
Ein Video und eine HN-Diskussion stellen Homa vor, ein neues Transportprotokoll, das TCP in KI-Clustern ersetzen soll. Der Ansatz stammt aus einem USENIX-ATC-Paper und wird von einem Stanford-Professor vorangetrieben, der für einen grundlegenden Wandel der Netzwerkschicht wirbt. Die Diskussion verlinkt das Paper sowie verwandte Artikel von LWN und The Register.
Homa: The end of TCP for AI clusters
- Animats
Homa gibt es schon eine Weile. Hier ist das Paper von 2018.[1]
Die Kernidee: Wenn eine Nachricht am Transportmodul des Senders ankommt, teilt Homa
die Nachricht in zwei Teile: einen anfänglichen ungeplanten Teil (die ersten RTTbytes Bytes), gefolgt von einem geplanten Teil.
Der Sender überträgt die ungeplanten Bytes sofort, unter Verwendung
eines oder mehrerer DATA-Pakete. Die geplanten Bytes werden erst übertragen, wenn der Empfänger sie explizit mit GRANT-Paketen anfordert.
Also sendet er bei kurzen Anfragen blind, braucht dann aber eine Freigabe vom Empfänger.
Das ist sinnvoll, wenn die Hauptanwendung ein Remote Procedure Call ist. Es erinnert an das Netzwerkprotokoll von QNX, das ebenfalls eine Ein-Paket-Nachrichtenanfrage/-antwort ist, aber auch beliebig lange Nachrichten verarbeiten kann.
Was das heute möglich macht, ist, dass der Verarbeitungsaufwand pro Paket in Hardware-Switches gering ist im Vergleich zum Aufwand pro Byte. In frühen softwaregesteuerten Switches dominierte tendenziell der Aufwand pro Paket, und das Senden kleiner Pakete war sehr ineffizient. In modernen Hardware-Switches, wo FPGAs die Verarbeitung übernehmen, ist der Aufwand pro Paket niedrig genug, dass kleine Pakete nicht ineffizient sind.
Es ist amüsant, dass Web-Zeug heute so aufgebläht ist, dass jede Transaktion unter 1 MB als "klein" gilt.
Das ist also kein geeignetes Protokoll für die Nutzung im offenen Web.
[1] https://people.csail.mit.edu/alizadeh/papers/homa-sigcomm18....
- Veserv
Homa ist kein gutes Design. [1]
1. Es gibt keine Möglichkeit, den Verlust eines ganzen RPC zu erkennen. Da es keinen äußeren Verbindungszustand gibt, kann ein Server, wenn jedes Paket auf der Sendeseite eines RPC verloren geht, nicht erkennen, dass er ein erneutes Senden veranlassen sollte. Der RPC ist einfach im Äther verloren. Das betrifft kleine Nachrichten, wie Nachrichten, die in ein einzelnes Paket passen, stärker, da es weniger Pakete auf der Sendeseite gibt.
2. Im Zusammenhang mit dem oben Genannten gibt es keine eingebaute Verschlüsselungsunterstützung. Wenn man also Verschlüsselung will, muss man sie entweder darüber oder darunter schichten.
3. Die gemessene Leistung ist schrecklich. Der Fall mit durchschnittlich 60 kB Nachricht in [2] Tabelle 4 benötigt 5(!) Hyperthreads, um durchschnittlich 20 Gbit/s zu erreichen. Das sind nur 4 Gbit/s pro Hyperthread. Selbst ein völlig naives Netzwerkprotokolldesign und seine Implementierung mit einem Paket pro Systemaufruf sollte etwa 8 Gbit/s pro Hyperthread erreichen. 30 Gbit/s pro Hyperthread sind mit nur ein wenig Fokus auf Leistung leicht zu erreichen.
4. Trotz all der Leistungsdesignprobleme in QUIC (obwohl immer noch schneller als Homa) löst es bereits im Grunde jedes Problem, das Homa zu lösen versucht, auf viel sauberere Weise. Stream-IDs entsprechen RPC-IDs. Stream Max entspricht Grants. Mehrere Streams unter einem einzigen Client ermöglichen Priorisierung.
Nur dass man nicht zufällig ganze Nachrichten verliert. Man kann kleine Nachrichten in Pakete komprimieren. Man bekommt eine präzisere RTT-Zeit, was genauere Pacing-/Überlastberechnungen ermöglicht. Man bekommt eingebaute Verschlüsselung. Es überlebt verknöcherte Middleboxen. Es hat mehrere Ack-Frames/-Pakete, was die Anzahl der Acks reduziert […]
- giovannibonetti
Ich erinnere mich, vor ein paar Monaten Jane Streets Ron Minsky in ihrem Podcast gehört zu haben, wie TCP in KI-Clustern zum Engpass wird. Als Elektroingenieur erinnere ich mich, dass die Leitungsvermittlung wegen der sehr spärlichen Nutzung des Netzwerks, wenn viele Akteure es durchlaufen, der Paketvermittlung weichen musste. Sie ist nicht sehr effizient, aber die große Vielfalt des Verkehrs macht es schwer, sie zu optimieren, da die Flussmuster zu dynamisch sind. Eine gute Analogie zum Autoverkehr ist, dass es in der Innenstadt so viele Autos gibt, die zu einer großen Vielfalt von Zielen fahren, dass Ampeln – so ineffizient sie auch sind – eine Lösung sind, die zumindest gut genug funktioniert.
Wenn der Verkehr hingegen einem sehr vorhersehbaren Muster folgt, kann eine maßgeschneiderte Implementierung viel effizienter sein. Besonders heutzutage kann maschinelles Lernen durch Reinforcement Learning viel bessere Lösungen finden. Und der Datenfluss in KI-Clustern ist viel vorhersehbarer als das, was insgesamt über das Internet läuft.
- throw0101c
Bezüglich (~6:01) "Überlastkontrolle ist die Verantwortung des Senders" und "irgendwie müssen wir die sendenden Knoten dazu bringen, nicht so schnell zu senden". Existiert das nicht in Ethernet/RoCE?
> Link Level Flow Control: InfiniBand verwendet einen credit-basierten Algorithmus, um verlustfreie HCA-zu-HCA-Kommunikation zu garantieren. RoCE läuft auf Ethernet. Implementierungen können ein verlustfreies Ethernet-Netzwerk erfordern, um Leistungsmerkmale ähnlich denen von InfiniBand zu erreichen. Verlustfreies Ethernet wird typischerweise über Ethernet Flow Control oder Priority Flow Control (PFC) konfiguriert. Die Konfiguration eines Data Center Bridging (DCB) Ethernet-Netzwerks kann komplexer sein als die Konfiguration eines InfiniBand-Netzwerks.[19]
* https://en.wikipedia.org/wiki/RDMA_over_Converged_Ethernet
> Eine sendende Station (Computer oder Netzwerk-Switch) überträgt möglicherweise Daten schneller, als das andere Ende der Verbindung sie akzeptieren kann. Mithilfe der Flusskontrolle kann die empfangende Station dem Sender signalisieren, die Übertragungen auszusetzen, bis der Empfänger aufgeholt hat. Flusskontrolle auf Ethernet kann auf der Datenverbindungsschicht implementiert werden.