NVLink 在消费级平台上还值得吗？

When Is NVLink Worth It?

我使用两块 RTX 3090 实测了 NVLink 在 AI 工作负载中的实际价值。测试发现，对于层分割推理和 DDP 训练，NVLink 几乎无影响；但在张量并行推理的提示词处理和 FSDP 训练中，性能提升显著。有趣的是，Nvidia 在消费级显卡上禁用了 PCIe P2P 通信，导致默认情况下数据需经过共享内存传输，性能大打折扣。通过打补丁启用 P2P 后，性能可接近 NVLink 水平。然而，对于大多数受限于 PCIe 通道数的消费级主板用户，NVLink 仍是突破带宽瓶颈的关键。除非你拥有服务器级平台或愿意折腾 Linux 驱动补丁，否则在 FSDP 训练等场景下，NVLink 依然是值得的投资。