Soft-MTP：多Token预测的免费午餐

Multi-Token Prediction Done Right

Multi-Token Prediction (MTP) 已成为大语言模型预训练的关键技术，但标准训练方法存在梯度干扰缺陷，随着模型规模扩大问题愈发严重。研究者发现，MTP 的交叉熵梯度可分解为提升推测解码的 KL 自蒸馏项和有害的噪声残差项。为此，他们提出了 KL 梯度恢复技巧，通过直通梯度路由精确恢复 KL 散度梯度，无需额外词汇表大小的矩阵。由此诞生的 Soft-MTP 仅需一行代码修改，即可消除噪声残差，仅回传有效的自蒸馏信号。实验表明，从 1.67 亿到 12 亿参数规模，Soft-MTP 在降低 NTP 困惑度、加速推测解码及提升零样本准确率方面均优于标准 MTP，且无需增加参数或带来可测量的开销。