Homa:AI 集群中 TCP 的终结

Homa: The end of TCP for AI clusters [video]

在 AI 集群的算力竞赛中,传统网络协议 TCP 正成为性能瓶颈。斯坦福团队推出的 Homa 协议,通过绕过 TCP 的复杂拥塞控制机制,直接在硬件层面优化数据传输,显著降低了延迟并提升了吞吐量。这项技术让大规模分布式训练更加高效,可能彻底改变 AI 基础设施的底层架构。视频演示了 Homa 如何在真实场景中击败 TCP,为下一代 AI 网络协议提供了全新思路。

Homa 通过绕过 TCP 的拥塞控制机制,在 AI 集群中实现了更低的延迟和更高的吞吐量。
  1. Animats

    Homa 已经存在一段时间了。这是 2018 年的论文。[1]

    核心思路:当消息到达发送端的传输模块时,Homa 将消息分为两部分:初始的未调度部分(前 RTTbytes 字节),随后是调度部分。

    发送端立即使用一个或多个 DATA 数据包发送未调度字节。调度字节不会传输,直到接收端使用 GRANT 数据包明确请求。

    因此,对于短请求,它是盲目发送的,然后需要接收端的许可。

    当主要应用程序是远程过程调用(RPC)时,这是合理的。这让人想起 QNX 的网络协议,该协议也是单数据包消息请求/响应,但也能处理任意长度的消息。

    如今使其可行的原因是,硬件交换机中的每包处理开销相对于每字节开销很低。在早期的软件驱动交换机中,每包开销往往占主导地位,发送小数据包非常低效。在现代硬件交换机中,FPGA 负责处理,每包开销足够低,以至于小数据包不再低效。

    有趣的是,如今的网络内容如此臃肿,以至于任何小于 1MB 的事务都被视为“小”。

    因此,这不适合作为开放网络使用的协议。

    [1] https://people.csail.mit.edu/alizadeh/papers/homa-sigcomm18....

  2. Veserv

    Homa 不是一个好的设计。[1]

    1. 无法检测整个 RPC 丢失。由于没有外部连接状态,如果 RPC 发送端的每个数据包都丢失了,服务器就无法检测到它应该重发。RPC 就这样消失在虚空中了。这对小消息(例如适合单个数据包的消息)影响更大,因为发送端的数据包更少。

    2. 与上述相关,没有内置的加密支持。因此,如果你想要加密,就需要在其上方或下方分层实现。

    3. 基准测试性能糟糕透顶。[2] 表 4 中的 60 kB 平均消息案例需要 5 个(!)超线程才能平均达到 20 Gbit/s。每个超线程仅为 4 Gbit/s。即使是一个完全天真的“每个系统调用一个数据包”的网络协议设计和实现,也应该能达到每个超线程约 8 Gbit/s。只要稍微关注一下性能,达到每个超线程 30 Gbit/s 是轻而易举的。

    4. 尽管 QUIC 存在所有性能设计问题(尽管仍然比 Homa 快),但它已经以更干净的方式解决了 Homa 试图解决的几乎所有问题。Stream IDs 对应 RPC IDs。Stream Max 对应 Grants。单个 Client 下的多个流允许优先级排序。

    除了你不会随机丢失整个消息。你可以将小消息压缩到数据包中。你可以获得更精确的 RTT 时间,从而允许更准确的 pacing/拥塞计算。你拥有内置加密。它能幸存于僵化的中间设备。它拥有多个 ack 帧/数据包,减少了 ac […]

  3. giovannibonetti

    我记得几个月前在 Jane Street 的播客中听到 Ron Minsky 谈论过这个话题,当时他提到 TCP 如何成为 AI 集群的瓶颈。作为一名电气工程师,我记得电路交换之所以让位于分组交换,是因为当有许多参与者通过时,网络的使用非常稀疏。这并不高效,但这种广泛的流量使得优化变得困难,因为流量模式过于动态。一个很好的类比是城市交通:市中心有那么多汽车去往各种各样的地方,以至于交通灯——尽管效率低下——至少是一个能勉强工作的解决方案。

    另一方面,如果流量遵循非常可预测的模式,自定义实现可以高效得多。特别是如今,机器学习可以通过强化学习找到更好的解决方案。AI 集群的数据流比整个互联网上的流量要可预测得多。

  4. throw0101c

    关于(~6:01)处提到的“拥塞控制是发送端的责任”以及“我们 somehow 必须让发送节点停止发送得那么快”。这在 Ethernet/RoCE 中不存在吗?

    > 链路层流量控制:InfiniBand 使用基于信用的算法来保证无丢包的 HCA 到 HCA 通信。RoCE 运行在 Ethernet 之上。实现可能需要无丢包的 Ethernet 网络才能达到类似于 InfiniBand 的性能特征。无丢包 Ethernet 通常通过 Ethernet 流量控制或优先级流量控制(PFC)进行配置。配置数据中心桥接(DCB)Ethernet 网络可能比配置 InfiniBand 网络更复杂。[19]

    * https://en.wikipedia.org/wiki/RDMA_over_Converged_Ethernet

    > 发送站(计算机或网络交换机)可能以比链路另一端能够接受的速度更快地传输数据。使用流量控制,接收站可以向发送端发出信号,请求暂停传输,直到接收端跟上。Ethernet 上的流量控制可以在数据链路层实现。

    * https://en.wikipedia.org/wiki/Ethernet_flow_control

同日更多故事

2026-10-04