Meta построила суперкластер Prometheus на гигаватт и готовит его к миллиону GPU
Meta's GB{2,3}00 Cluster
Meta раскрыла детали Prometheus — гигаваттного суперкластера в Нью-Олбани, штат Огайо. Первая фаза уже готова и обучила фронтирные модели Muse Wonder с goodput выше 85% для претрейна и выше 90% для RL. Сейчас кластер объединяет сотни тысяч GPU в единую машину, а в перспективе вырастет примерно до 1 млн GPU. В основе — платформы Catalina на NVIDIA GB200 NVL72 и Clemente на GB300 NVL72, связанные собственной сетью на миллионы миль оптоволокна.
Когда один GPU выходит из строя, его место немедленно занимает запасной, поэтому задача перезапускается с последнего чекпоинта, а не ждёт ремонта железа, и стойка остаётся в работе.