Soft-MTP beseitigt einen Grundfehler im Multi-Token-Training von Sprachmodellen

Multi-Token Prediction Done Right

Multi-Token Prediction (MTP) gilt als fester Bestandteil der Pre-Training-Pipeline moderner Sprachmodelle, doch die Autoren zeigen: Ein verrauschter Restterm im MTP-Gradienten stört sowohl das Next-Token- als auch das Multi-Token-Lernen – und das umso stärker, je größer das Modell wird. Ihr Soft-MTP genannter Trick extrahiert per Straight-Through-Gradient-Routing exakt das KL-Selbst-Destillationssignal, benötigt keine Logit-Matrizen in Vokabulargröße und ist eine einzeilige Codeänderung. Von 167M bis 1,2B Parametern verbessert es Perplexität, Speculative Decoding und Zero-Shot-Genauigkeit.