长上下文MoE训练:如何抹平所有内存峰值

Flattening Every Memory Peak in Long-Context Mixture-of-Experts Training

在长上下文或大批次训练Mixture-of-Experts模型时,只要任意一个组件的内存峰值超过设备限制,训练就会失败。现有的并行方案无法同时控制四个关键峰值:专家路由矩阵、词汇投影、梯度检查点边界以及优化器状态。本文提出四种新调度策略:PipelinedLLEP限制每个源对分派的贡献,Ring-DTP在词汇投影中循环激活或权重分片,Selective checkpoint offload将长生命周期张量保留在CPU内存,OffloadStreamAdamW将串行CPU Adam更新转化为桶流水线。这些方法在不改变计算顺序和精度的前提下,显著降低了内存峰值。在120B到667B参数的MoE模型上,它们支持1M上下文长度,是FSDP2基线的8到32倍,吞吐量提升高达10.4倍。

只要任意一个组件的峰值分配超过设备内存,长上下文或大批次训练Mixture-of-Experts模型就会失败,因此目标不是平均占用,而是同时控制每一个峰值。

同日更多故事

2026-11-18