拡散言語モデルの作り方：マスク拡散の仕組みと実装
How to build a diffusion language model
拡散モデルは画像生成で成功を収めていますが、テキストへの応用は長らく困難でした。本記事では、マスク拡散を用いた言語モデルの構築方法を解説します。トークンをマスクで置き換えることでノイズを定義し、双方向Transformerでマスクされた位置を予測します。生成時は全マスクから始めて徐々にアンマスクしていくことで、自己回帰モデルにはない誤り訂正や並列生成、双方向の文脈利用を実現します。2026年にはMercury 2、Gemma Diffusion、Nemotron Diffusionなどの拡散LLMが登場し、自己回帰モデルに匹敵する品質を達成しています。
マスク拡散は、BERTにランダムなマスク率を導入したものと本質的に同じですが、BERTとは異なり、結果として得られるモデルは生成的です。
HNでの議論
20- radarsat1
以前から思っていたんだけど、時間があればやってみようかなと思っていることがある。DeepSeekがレンダリングされたテキストを入力として使って素晴らしい結果を出しているのを見ると、テキストに対する画像ベースの拡散手法を真剣に研究している人はいないのかな、と。つまり、離散トークン生成による複雑さを全部避けて、標準的な画像拡散手法でテキストの画像を生成して、それをテキストに変換する、という方法だ。もし単一の等幅フォントを使えば、OCRの問題は基本的に単純なテンプレートマッチングになるから、かなり効率的になると思う。でも、たぶんもう論文が出ているんだろうな。検索はしていないけど。トークンベースの手法と同等の性能があるかどうか、知りたいところだ。
- quirino
大学のプロジェクトでこれらをたくさん研究してきた。先週、ELBOの導出を数時間かけて復習したんだけど、とても楽しくて啓発的な練習だった。より大きな数学的構造に名前を付けて、それらを少しよく理解すると、かなり単純になる。読んできたブログや論文のいくつかが「重要度サンプリング」に名前を付けていてくれたらよかったのにと思う。確率の表記もかなり紛らわしいことがある。変数の「型」を理解するのが難しいこともある。でも、私は経験が浅いんだ。ChatGPTは驚くほど役に立った。自分のメンタルモデルのギャップ（完全に直感的でない部分）を本当に理解する努力をすれば、そのギャップを埋める素晴らしい仕事をしてくれる。
- rottc0dd
拡散モデルによる画像生成に関するwelch labsの良いビデオ：
https://www.youtube.com/watch?v=iv-5mZ_9CPY&pp=ygUVZGlmZnVza...