Учёные нашли бесплатный способ улучшить Multi-Token Prediction в языковых моделях

Multi-Token Prediction Done Right

Multi-Token Prediction стал стандартом при обучении языковых моделей, но в его градиенте есть шумный остаток, который мешает и предсказанию следующего токена, и спекулятивному декодированию. Авторы показывают, что градиент кросс-энтропии точно раскладывается на полезный сигнал KL-самодистилляции и вредный остаток, и предлагают трюк KL gradient-recovery. Он превращается в Soft-MTP — правку в одну строку без новых параметров и накладных расходов. От 167M до 1.2B параметров Soft-MTP стабильно обходит обычный MTP.