Cuatro picos de memoria ahogan el entrenamiento MoE de contexto largo; este método los aplana todos

Flattening Every Memory Peak in Long-Context Mixture-of-Experts Training

Entrenar modelos Mixture-of-Experts con contexto largo o lotes grandes falla en cuanto un solo componente supera la memoria del dispositivo, así que bajar el pico más alto solo expone el siguiente. Los autores acotan los cuatro que quedan sin límite: el despacho de expertos, la proyección de vocabulario, los límites de checkpoint y el estado del optimizador, con un conjunto de trabajo en GPU fijo desde el arranque. Sobre modelos de 120B a 667B parámetros alcanzan 1M de contexto, hasta 32 veces el alcance de un baseline FSDP2 ajustado y 10,4 veces su throughput.

Cuál se agota primero cambia según el modelo, la longitud de contexto y la cantidad de dispositivos, de modo que reducir el más grande solo deja al descubierto el siguiente.

Más de este día

2026-11-18