Meta 揭秘 Prometheus：百万 GPU 的超级集群

Meta's GB{2,3}00 Cluster

Meta 在俄亥俄州 New Albany 建成了名为 Prometheus 的吉瓦级超级集群，旨在训练下一代基础模型。该项目已率先完成第一阶段，成功支撑了 Muse 系列模型的训练，并计划扩展至约 100 万块 GPU。集群整合了 NVIDIA GB200 和 GB300 两代硬件平台，采用 NVL72 架构将 72 块 GPU 互联为单一加速器，配合闭环液冷技术实现高效运行。通过构建专用的后端网络（BE network）和后端聚合（BAG）网络，Meta 解决了大规模训练中的通信瓶颈，将预训练任务的有效吞吐量（goodput）提升至 85% 以上。这一基础设施的演进，标志着 AI 训练正从单机房迈向跨建筑、跨区域的超大规模协同时代。