120B〜667BのMoEモデルを100万トークン文脈で訓練、FSDP2比で最大10.4倍のスループット

Flattening Every Memory Peak in Long-Context Mixture-of-Experts Training

長文脈や大バッチでのMoE訓練は、平均ではなく個々のピーク割り当てがデバイスメモリを超えた瞬間に破綻する。本研究は未制御だった4つのピーク——expert dispatch、語彙射影、勾配チェックポイント境界、optimizer state——を、起動時にGPUワーキングセットを固定するスケジュールで全て抑え込む。計算順序と粒度だけを変えるため損失と勾配は厳密に保たれ、120B〜667Bのモデルを100万トークン文脈で訓練し、チューニング済みFSDP2の8〜32倍の到達範囲と最大10.4倍のスループットを実現した。

どのピークが最初に尽きるかはモデル、文脈長、デバイス数によって変わるため、最大のものを下げても次が露呈するだけだ。

この日のほかの記事

2026-11-18