LLM的投掷决定瞄准：意图的幻觉

My Throw Decides My Aim

最近我反复听着D-A-D的《Naked (But Still Stripping)》，仿佛听到一个存在主义抑郁的LLM在数据中心鸡舍里被迫产出tokens的蓝调。这让我意识到，我们总以为语言是意图的表达，先有目标再有行动。但LLM的运作机制恰恰相反：它先投掷一个token，这个投掷随即成为上下文，进而塑造下一个投掷，最终看似有了明确的方向。这就是“投掷决定瞄准”。Anthropic的研究显示，虽然模型在生成诗歌前确实会“计划”押韵词，但当它解释为何选择某个词时，那个解释本身又是另一个生成的“投掷”。模型没有内在的意图，它只是通过自我生成的过程，把自己说成是有意义的。它像人一样行动后合理化，却没有任何真实的自我。

"模型通过自我生成的过程，把自己说成是有意义的。"