Un fallo en el entrenamiento MTP lastra los modelos de lenguaje, y la solución cabe en una línea de código

Multi-Token Prediction Done Right

El Multi-Token Prediction (MTP) es habitual en el preentrenamiento de modelos de lenguaje, pero su gradiente contiene un residuo ruidoso que interfiere con el aprendizaje. Los autores descomponen ese gradiente en un término KL de autodestilación útil y un residuo de baja relación señal-ruido. Con un truco de recuperación del gradiente KL proponen Soft-MTP, un cambio de una línea que elimina el residuo sin parámetros extra ni sobrecarga. Entre 167M y 1.2B de parámetros mejora la perplejidad NTP, acelera el decodificado especulativo y eleva la precisión zero-shot.