Next-Concept Modeling：文本生成提速21倍
Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation
扩散语言模型（DLMs）虽然能并行采样，却面临采样步数减少时质量骤降、全序列处理效率低等瓶颈。Next-Concept Modeling（NCM）提出了一种两阶段粗到细的框架：利用多尺度残差VQ-VAE将文本编码为分层离散码，再由Transformer逐层并行预测所有码。在相同参数规模下，NCM在LM1B数据集上的生成困惑度优于最强DLM基线，速度却快21倍；在OpenWebText上速度提升10倍，在XSum摘要任务中速度更是达到31倍。更令人惊喜的是，在Sudoku推理任务中，NCM以更少的函数评估次数超越了自回归和扩散基线，展现了强大的推理能力。
在相同参数规模下，Next-Concept Modeling在LM1B数据集上的生成困惑度优于最强DLM基线，同时运行速度快21倍。
HN 评论区
39- pinyen_cheng
这挺有创新性的。但全新的 tokenizer 和训练方法需要付出巨大努力才能重新训练。它能否被广泛采用，取决于其能达到的真实前沿性能。
- OOTY00TYOO
如果我们无法足够快地制造硬件，有人能给我解释一下，为什么超大规模云厂商（hyperscalers）购买的 GPU 和内存中，有大约 50% 因为缺乏数据中心而堆在仓库里？这些超大规模云厂商在囤积技术，却连用都用不了。这太荒谬了。
- swiftcoder
谁会基于这个训练一个大型好用的代码模型呢？我没有足够的 GPU 来做这件事……
- siamaksalman
我正试着运行它，目前还没成功。
- cubefox
这看起来非常有趣。他们新的语言建模目标相比掩码扩散建模（masked diffusion modeling）显示出显著的改进。
然而，他们几乎没有将其与传统的下一个词预测（next-token-prediction）目标进行对比，这暗示除了数独这类高度非线性的任务外，他们并没有超越传统方法。不幸的是，机器学习论文往往只专注于正面成果，而回避提及不足之处。