MoE 학습의 메모리 병목, 1M 컨텍스트에서 10.4배 처리량으로 뚫다
Flattening Every Memory Peak in Long-Context Mixture-of-Experts Training
긴 컨텍스트나 큰 배치로 MoE 모델을 학습할 때는 평균 메모리가 아니라 어느 한 구성 요소의 피크 할당이 먼저 한계를 넘으면 실패한다. 이 논문은 expert dispatch, vocabulary projection, gradient checkpoint 경계, optimizer state라는 네 가지 무제한 피크를 모두 고정된 GPU 작업 집합으로 묶는 스케줄을 제안한다. 연산 순서와 세분성만 바꿔 손실과 그래디언트는 정확히 유지하면서, 120B~667B MoE 모델을 1M 컨텍스트에서 FSDP2 대비 최대 10.4배 처리량으로 학습한다.
어느 것이 먼저 고갈되는지는 모델과 컨텍스트 길이, 장치 수에 따라 달라지므로, 가장 큰 것만 낮추면 그다음 것이 드러날 뿐이다.