LLMを「次のトークン予測器」と呼ぶのはもうやめよう

"Next-token predictor" is the wrong mental model for LLMs

LLMが「次のトークンを予測するだけ」という説明は、厳密には間違いではないが不完全だと筆者は主張する。事前学習では確かに既存のテキストから次のトークンを学習するが、RLVR（検証可能な報酬を用いた強化学習）などの事後学習により、モデルは自ら探索して生成した新しいシーケンスからも学習する。チェスの例を使って、既存の棋譜から次の手を予測するシステムと、全探索によって勝利確率を最大化する手を選ぶシステムの違いを明確にし、後者を「次の手予測器」と呼ぶのが不自然であることを示す。LLMも同様に、単なる模倣ではなく、探索と報酬を通じて未知の知識を獲得しているのだ。