Обучение MoE на контексте в 1M токенов: пики памяти побеждены

Flattening Every Memory Peak in Long-Context Mixture-of-Experts Training

При обучении Mixture-of-Experts на длинном контексте или большом батче достаточно, чтобы пик памяти хотя бы одного компонента превысил объём GPU. Авторы ограничивают сразу четыре неограниченных пика — диспетчеризацию экспертов, проекцию словаря, границы чекпоинтов и состояние оптимизатора — планировщиками с фиксированным рабочим набором GPU. Потери и градиенты остаются точными. На моделях от 120B до 667B параметров обучение идёт при контексте 1M токенов — в 8–32 раза дальше и до 10,4 раза быстрее настроенного FSDP2.

Каждый из четырёх пиков растёт по-своему, и то, какой из них исчерпает память первым, меняется в зависимости от модели, длины контекста и числа устройств, поэтому снижение самого большого лишь обнажает следующий.

Ещё за этот день

2026-11-18