Meta baut einen Supercluster mit einer Million GPUs
Meta's GB{2,3}00 Cluster
In New Albany, Ohio, hat Meta die erste Phase von Prometheus fertiggestellt, einem Supercluster im Gigawatt-Maßstab, der die Muse-Modelle trainiert hat. Hunderte Tausende GPUs von NVIDIA, verteilt über mehrere Gebäude und per Glasfaser als eine einzige Maschine verbunden, erreichten über 85 Prozent Goodput beim Pre-Training. Voll ausgebaut soll Prometheus rund eine Million GPUs umfassen. Flüssigkeitskühlung im geschlossenen Kreislauf hält die Anlage effizient.
Bei einem einzigen Host kann ein Problem den gesamten Job verlangsamen oder stoppen und damit den Goodput senken.