Forscher zähmen alle vier Speicherspitzen beim MoE-Training mit langem Kontext

Flattening Every Memory Peak in Long-Context Mixture-of-Experts Training

Beim Training von Mixture-of-Experts-Modellen mit langem Kontext oder großen Batches reicht eine einzige Speicherspitze, um die GPU zu sprengen – und vier davon sind gängigen Parallelisierungsplänen schlicht unbegrenzt. PipelinedLLEP, Ring-DTP, Selective checkpoint offload und OffloadStreamAdamW begrenzen alle vier gleichzeitig, ohne Verlust oder Gradienten zu verändern. Auf Modellen von 120B bis 667B Parametern erreichen sie 1M Kontext – das 8- bis 32-Fache eines getunten FSDP2-Baselines und bis zu 10,4-mal dessen Durchsatz.

Welche zuerst ausgeht, ändert sich mit dem Modell, der Kontextlänge und der Anzahl der Geräte – senkt man also nur die größte, tritt sofort die nächste hervor.

Mehr von diesem Tag

2026-11-18