NCM、拡散言語モデルを31倍速で凌ぐ粗から細への並列テキスト生成
Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation
拡散言語モデル（DLM）は並列サンプリングで高速だが、ステップ数を減らすと品質が急落し、毎ステップ全系列を処理する必要がある。本論文はNext-Concept Modeling（NCM）を提案する。multiscale residual VQ-VAEでテキストを階層的な離散コードに符号化し、transformerが1レベルずつ全コードを並列予測する2段階の粗から細への枠組みだ。同規模のパラメータでLM1Bでは最強のDLMを上回る生成perplexityを21倍速で達成し、XSumではROUGE-Lで並びながら31倍速、Sudoku推論でも全難易度で既存手法を凌ぐ。
同規模のパラメータで、NCMはLM1Bにおいて最強のDLMベースラインより優れた生成perplexityを達成しつつ、21倍高速に動作する。
HNでの議論
39- pinyen_cheng
それはかなり革新的だ。しかし、まったく新しいトークナイザーとトレーニング方法には、再トレーニングに多大な労力が必要だ。広く実装されるかどうかは、到達できる実際のフロンティア性能次第だ。
- OOTY00TYOO
ハードウェアを十分な速さで構築できないなら。なぜハイパースケーラーが購入したGPUとメモリの50%が、データセンター不足のため倉庫に眠っているのか説明してくれる人はいる？ハイパースケーラーは技術をため込んでいて、それすら使えていない。ばかげている。
- swiftcoder
これに基づいて素晴らしい大きなコーディングモデルをトレーニングするのは誰だ？私にはそれをするGPUがない…
- siamaksalman
実行しようとしているが、今のところうまくいっていない
- cubefox
これは非常に興味深い。彼らの新しい言語モデリング目的関数は、マスク拡散モデリングと比べて大きな改善を示している。
しかし、従来の次トークン予測目的関数とはほとんど比較しておらず、数独のような非常に非線形なタスクを除いてはそれを上回っていないことを示唆している。残念ながら、機械学習の論文は悪い面に言及せず、良い面だけに焦点を当てる傾向がよくある。