NVLinkは本当に価値があるのか？RTX 3090 2枚で検証

When Is NVLink Worth It?

NVIDIAはコンシューマ向けGPUでのNVLinkサポートを終了しており、最後に対応したRTX 3090用のブリッジは現在200〜400ドルで取引されています。著者は2枚のRTX 3090を使い、NVLinkがAIワークロードに与える影響を、推論（テンソル並列・レイヤー分割）と学習（FSDP・DDP）の両面から測定しました。その結果、NVLinkはFSDP学習で最大3倍の高速化をもたらす一方、レイヤー分割推論やDDP学習には効果がありませんでした。さらに、NVIDIAがコンシューマ向けGPUでP2P通信をドライバレベルで無効化していることを発見し、オープンソースのドライバパッチを適用して実際のP2P性能を検証。その結果、PCIeレーンが十分にある環境ではNVLinkとほぼ同等の性能が得られることが分かりました。ただし、コンシューマ向けマザーボードではPCIeレーンが制限されるため、NVLinkが有効なケースも存在します。