Meta、1ギガワット級スーパークラスタ「Prometheus」で約100万GPU体制へ
Meta's GB{2,3}00 Cluster
Metaはオハイオ州New Albanyで、ギガワット級のAIスーパークラスタ「Prometheus」を段階的に構築している。第1フェーズは完了し、Muse基盤モデルの学習に使用。NVIDIA GB200とGB300の2世代を導入し、最終的には約100万GPUを単一マシンとして連携させる計画だ。学習のgoodputは事前学習で85%超、強化学習で90%超を達成している。
NVL72ではスケールアップドメインが72 GPUに拡大し、障害の影響範囲が9倍になった。