AIクラスタにTCPはもう不要、Homaが新時代を切り開く

Homa: The end of TCP for AI clusters [video]

Homaは、AIクラスタ向けに設計された新しいトランスポートプロトコルで、TCPの限界を超えることを目指している。USENIX ATC 2021で発表された論文を基に、Hacker Newsで議論が交わされた。TCPに代わるプロトコルとして注目を集めており、Stanfordの教授が提唱している。

Homa: The end of TCP for AI clusters
  1. Animats

    Homaはしばらく前から存在している。これが2018年の論文だ。[1]

    核心的なアイデアはこうだ。メッセージが送信側のトランスポートモジュールに到着すると、Homaはメッセージを2つの部分に分割する。最初のスケジュールされていない部分(最初のRTTbytesバイト)と、それに続くスケジュールされた部分である。

    送信側は、スケジュールされていないバイトをすぐに、1つ以上のDATAパケットを使って送信する。スケジュールされたバイトは、受信側がGRANTパケットを使って明示的に要求するまで送信されない。

    つまり、短いリクエストに対してはブラインドで送信し、その後受信側からのゴーサインを必要とする。これは、主なアプリケーションがリモートプロシージャコールである場合には合理的だ。QNXのネットワーキングプロトコルを思い起こさせる。あれも単一パケットのメッセージ要求/応答だが、任意の長さのメッセージも扱える。

    これが今日機能するのは、ハードウェアスイッチにおけるパケットあたりの処理オーバーヘッドが、バイトあたりのオーバーヘッドに比べて低いからだ。初期のソフトウェアドリブンのスイッチでは、パケットあたりのオーバーヘッドが支配的になりがちで、小さなパケットを送るのは非常に非効率だった。FPGAが処理を行っている現代のハードウェアスイッチでは、パケットあたりのオーバーヘッドは十分に低く、小さなパケットは非効率ではない。

    今日のウェブ関連が非常に肥大化していて、1MB未満のトランザクションが「小さい」と見なされるのは面白い。

    したがって、これはオープンウェブでの使用には適したプロトコルではない。

    [1] https://people.csail.mit.edu/alizadeh/papers/homa-sigcomm18....

  2. Veserv

    Homaは良い設計ではない。[1]

    1. RPC全体の損失を検出する方法がない。外側の接続状態がないため、RPCの送信側のすべてのパケットが失われると、サーバーは再送を発行すべきことを検出する方法がない。RPCはただ虚空に消える。これは、単一パケットに収まるメッセージのような小さなメッセージに、送信側のパケット数が少ないためにより影響する。

    2. 上記に関連して、組み込みの暗号化サポートがない。したがって、暗号化が必要なら、その上か下にレイヤーを重ねる必要がある。

    3. ベンチマーク性能はひどい。[2]の表4にある60kBの平均メッセージの場合、平均20Gbit/sを出すのに5(!)ハイパースレッドを要する。これはハイパースレッドあたりわずか4Gbit/sだ。システムコールごとに1パケットという完全に素朴なネットワークプロトコルの設計と実装でさえ、ハイパースレッドあたり約8Gbit/sには達するはずだ。性能に少し注力するだけで、ハイパースレッドあたり30Gbit/sは簡単だ。

    4. QUICには性能設計上の問題がすべてあるにもかかわらず(それでもHomaよりは速い)、Homaが解決しようとしている問題のほとんどすべてを、はるかにクリーンな方法ですでに解決している。ストリームIDはRPC IDに対応する。ストリームMaxはGrantに対応する。単一のClient下の複数のストリームにより優先順位付けが可能になる。

    ただし、メッセージ全体をランダムに失うことはない。小さなメッセージをパケットに詰め込むことができる。より正確なRTT時間が得られ、より正確なペーシング/輻輳計算が可能になる。組み込みの暗号化が得られる。硬化したミドルボックスを生き延びる。複数のackフレーム/パケットがあり、[…]を減らす

  3. giovannibonetti

    数ヶ月前にJane StreetのRon Minskyが彼らのポッドキャストで、TCPがAIクラスタのボトルネックになることについて話していたのを覚えている。電気技師として、回線交換がパケット交換に取って代わられたのは、多くのアクターがネットワークを通る場合にネットワークの使用が非常に疎になるためだと覚えている。あまり効率的ではないが、多様なトラフィックのためにフローパターンが動的すぎて最適化が難しい。自動車の交通との良いアナロジーは、ダウンタウンでは非常に多様な目的地に向かう車が多すぎて、信号機は非効率ではあるが、少なくとも十分に機能する解決策であるということだ。

    一方、トラフィックが非常に予測可能なパターンに従うなら、カスタム実装はずっと効率的になり得る。特に今日では機械学習が強化学習を通じてはるかに良い解決策を見つけられる。そしてAIクラスタのデータフローは、インターネット全体を流れるものよりもはるかに予測可能である。

  4. throw0101c

    (~6:01)「輻輳制御は送信側の責任である」「どうにかして送信ノードがそんなに速く送信するのを止めさせなければならない」について。これはEthernet/RoCEには存在しないのか?

    > リンクレベルフロー制御: InfiniBandはクレジットベースのアルゴリズムを使用して、ロスレスなHCA間通信を保証する。RoCEはEthernet上で動作する。実装によっては、InfiniBandに似た性能特性に到達するためにロスレスEthernetネットワークが必要になる場合がある。ロスレスEthernetは通常、Ethernetフロー制御または優先度フロー制御(PFC)を介して設定される。データセンターブリッジング(DCB)Ethernetネットワークの設定は、InfiniBandネットワークの設定よりも複雑になることがある。[19]

    * https://en.wikipedia.org/wiki/RDMA_over_Converged_Ethernet

    > 送信ステーション(コンピュータまたはネットワークスイッチ)は、リンクのもう一方の端が受け入れられるよりも速くデータを送信している可能性がある。フロー制御を使用すると、受信ステーションは送信者に信号を送り、受信側が追いつくまで送信の一時停止を要求できる。Ethernetのフロー制御はデータリンク層で実装できる。

    * https://en.wikipedia.org/wiki/Ethernet_flow_control

この日のほかの記事

2026-10-04