MTPの学習にはノイズの多い残差項が混ざっていた——1行の変更で取り除くSoft-MTP

Multi-Token Prediction Done Right

Multi-Token Prediction（MTP）の学習には、勾配の残差成分が次のトークン予測と多トークン学習の両方を妨げるという欠陥がある。MTPの交差エントロピー勾配は、モデル自身のNTP分布へ各ヘッドを引き寄せるKL自己蒸留項と、低SNRで有用な信号を埋もれさせる残差に分解できる。著者らは線形出力ヘッドを共有する2分布のKL勾配を交差エントロピー勾配の組み合わせで正確に復元する手法を提案し、既存の計算を再利用する1行の変更でノイズを除去するSoft-MTPを実現した。167Mから1.2Bまで全スケールでNTPパープレキシティ低下、投機的デコーディング高速化、ゼロショット精度向上を確認している。