告别自回归：构建扩散语言模型指南
How to build a diffusion language model
主流语言模型长期依赖自回归架构，逐字生成导致无法纠错且速度受限。扩散模型为文本生成带来新范式：从全掩码序列出发，通过多轮迭代并行填充与去噪，实现双向上下文感知与错误修正。2024 年扩散模型质量已追平自回归模型，2026 年 Mercury 2、Gemma Diffusion 和 Nemotron Diffusion 等工业级产品相继问世。本文深入解析 Masked Diffusion 原理，从概率视角拆解前向掩码与反向去噪过程，探讨 Block Diffusion 在灵活长度生成中的应用，并揭示蒸馏加速、可控生成及生物科学领域的创新实践，展现扩散模型如何重塑大语言模型的未来。
你可以将 Masked Diffusion 视为一种生成式 BERT。
HN 评论区
20- radarsat1
我一直有个疑问，也许我该找个时间亲自试试，但……鉴于 DeepSeek 在将渲染后的文本作为输入方面取得了不错的效果，我在想是否有人对基于图像的文本扩散方法进行过深入研究。
具体来说，就是避开离散 token 生成带来的所有复杂性，直接用标准的图像扩散方法生成文本图像，然后再将其转换为文本。
如果你使用单一等宽字体，我敢打赌这会相当高效，因为 OCR 问题基本上就变成了直接的模板匹配。
不过我想可能已经有相关的论文了，我还没去搜过。我很好奇这种方法与基于 token 的方法相比表现如何。
- quirino
为了大学的一个项目，我最近一直在大量研究这些内容。上周我花了好几个小时推导 ELBO，这是一次非常有趣且富有启发性的练习。
一旦你给这些更大的数学结构起了名字，并对它们有了更好的理解，一切就会变得相当简单。我真希望我读过的一些博客或论文能直接点出“重要性采样（Importance Sampling）”这个概念。
概率符号也可能让人很困惑。有时候很难理解某些变量的“类型”。不过我也算是个新手。
ChatGPT 的帮助出乎意料地大。如果你肯下功夫真正理解自己心智模型中的缺口在哪里（哪些部分不够直观），它能非常出色地帮你填补这些空白。
- rottc0dd
Welch Labs 有一个关于使用扩散模型进行图像生成的不错视频：
https://www.youtube.com/watch?v=iv-5mZ_9CPY&pp=ygUVZGlmZnVza...