Grace Blackwell braucht einen neuen Scheduler: 27 % mehr nutzbare GPUs aus denselben Racks
Grace Blackwell needs a new scheduler: 27% more usable GPUs from the same racks
NVL72 verbindet alle 72 GPUs eines Racks über ein einheitliches NVLink-Fabric, doch naive Scheduler verteilen Multi-Node-Jobs über mehrere Racks und zwingen sie so auf das deutlich schmalere InfiniBand. SkyPilot zeigt anhand von Produktionsclustern mit rund 2 % Ausfallrate: 16-Node-Slices mit zwei Reserveknoten pro Rack liefern 27 % mehr nutzbare Kapazität als volle 18-Node-Racks. Topologiebewusste Platzierung, In-Place-Recovery und automatische Defragmentierung halten die Jobs rack-lokal.
Bei 9-Node-Slices kostet jeder Ausfall ein halbes Rack, bei 16-Node-Slices werden die ersten beiden Ausfälle in einem Rack vollständig abgefedert.