推理并非求解，而是路径搜索
What objective is reasoning solving?
我们常以为让模型多思考一会儿就能得到正确答案，但这篇博客揭示了真相：推理本质上是 Token 空间中的路径搜索。RL 训练并非让单条思维链必然收敛，而是最大化找到正确路径的概率。所谓的“思考更久”带来的提升，其实源于训练时昂贵的搜索成本被分摊到了模型权重中，而非推理时的额外计算。这种视角解释了为何过度延长推理有时会适得其反，以及为何思维链不一定忠实于真实逻辑。
推理实际上并没有解决任何目标，单条路径并不保证能收敛到正确答案。
HN 评论区
53- htrp
我是旧金山的一名研究人员。我喜欢构想世界将走向何方，以及实现这一目标需要付出什么。
我在斯坦福大学攻读计算机科学博士学位，期间设计了用于序列建模和记忆的长上下文架构。在此之前，我在康奈尔大学学习数学和物理。最近，我在 Cartesia 担任研究科学家，从事上下文内分词和新颖架构（HNets）的研究。
我不是那个 MSL 的 Alex Wang。
- derefr
它解决的问题与人类大脑中“思维链”（内部独白）所解决的问题相同：你“知道”的很多东西，是你听到或读过的词汇的 episodic memories（情景记忆），但尚未通过练习内化为反射性反应。获取某些词汇的记忆比掌握一整套新技能要快得多、便宜得多，因此从给定的训练语料库中，你最终获得的词汇记忆远多于具体技能。
推理（即将这些记忆中的词汇提取到你的心理上下文中，然后利用一种特殊的“触发机制”——该机制依赖于注意力掩码上下文的内容和持续状态，引发任意突触激活，并以此作为桥梁反射作用于这些词汇，也就是所谓的“系统 2 思维”）是你利用词汇记忆转化为有用行为的方式。你不是在执行嵌入到突触权重中的原生技能，而是在运行一种非常高级的原生技能，它充当词汇记忆数据的解释器，缓慢而费力地将你脑海中持有的词汇转化为更多词汇（综合），或转化为与其他记忆的关联（词汇记忆或其他），或转化为行动/输出等。
（该系统一个特别有用的“技巧”是规划，即让解释器通过“纯粹的文字”进行链式推导，这些文字在脑海中唤起更多“纯粹的文字”，直到最终得到构成“你即将做什么”的声明的文字。然后，你可以依赖桥梁反射的一个特殊部分，即“遵循指令”的反射，来……）
- Shacharp
如果能为模型提供一个可供遵循的认识论框架，那就更好了。我们并不指望语言中枢来执行执行功能。任意长的思维链并不会让模型突然获得 grounding（事实依据/现实锚定）。
- gertlabs
这是一篇很棒的文章。在我们的强化学习工作中，我们将推理视为一种技能——一套工具和协议，用于利用模型已有的知识，提高生成模型尚未掌握的知识的可能性。
虽然具体将推理定义为一种技能颇具难度，但我们看到，与合作伙伴达成共识后取得了成功：你不需要在每一次 rollout（ rollout 指模型生成过程）中都启用推理——超过某个点后，收益会递减（模型通常已经拥有完整的工具集，可以在其推理预算内探索想法和进行计算）。相反，将一定比例的 rollout 用于训练未启用推理的模型，解决那些模型无需推理就能以较高成功率解决的问题，这样在计算上更高效。这能直接提升认知核心/潜在推理能力，转化为解决问题所需的总 token 数减少，以及模型能解决的难题难度提升。而且这更符合现实，考虑到人类解决许多问题（即使是难题，例如进入心流状态时）并不需要内心独白。
- piker
> 考虑这个问题：“1 + 2 + 3 + ⋯ + 10 等于多少？”一种解决方案是一次一个地相加：1, 3, 6, 10，依此类推直到 55。另一种方法是从外向内配对：1 + 10, 2 + 9, 3 + 8, 4 + 7 和 5 + 6，每对都等于 11，五对 11 就是 55。这两条路径都导向了正确答案 55。
看着我的儿子解决困难的数学题，迫使我意识到了这一点。在我脑海中只有一条“正确”的路径，我经常不得不阻止自己去打断他的思维链。他往往只是用另一种方式到达了终点。