NVLink 在消费级平台上还值得吗？
When Is NVLink Worth It?
我使用两块 RTX 3090 实测了 NVLink 在 AI 工作负载中的实际价值。测试发现，对于层分割推理和 DDP 训练，NVLink 几乎无影响；但在张量并行推理的提示词处理和 FSDP 训练中，性能提升显著。有趣的是，Nvidia 在消费级显卡上禁用了 PCIe P2P 通信，导致默认情况下数据需经过共享内存传输，性能大打折扣。通过打补丁启用 P2P 后，性能可接近 NVLink 水平。然而，对于大多数受限于 PCIe 通道数的消费级主板用户，NVLink 仍是突破带宽瓶颈的关键。除非你拥有服务器级平台或愿意折腾 Linux 驱动补丁，否则在 FSDP 训练等场景下，NVLink 依然是值得的投资。
对于大多数无法或不愿应用第三方 P2P 驱动补丁的用户来说，NVLink 桥接器是获得多显卡全部性能的唯一途径。
- causality0
我无比怀念那段日子：买一张 GPU，三年后花一百美元再买一张同样的，帧率就能提升 70%。
- colingauvin
好文章。我正纠结要不要花 500 多美元给我的两张 A4500 买 NVLink 桥接器用于推理。这篇文章基本证实了，除非你的 PCI-E 拓扑结构完全不合理，否则 NVLink 救不了你。
- deflator
非常有用的文章。我之前对 NVLink 在本地推理栈中的位置很模糊。现在非常清楚了：它是为了适配那些缺乏多条完整 x16 PCIe 通道的消费级硬件。