Coding Agents 竟能预知未来代码走向
Coding agents think ahead of time
Coding Agents 在解决软件工程任务时，往往需要经历数十步的推理、编辑和测试，但很少有人知道其背后的语言模型究竟在内部如何表示程序。研究发现，语言模型的 residual streams 线性编码了程序的演化属性：通过 logistic-regression probe 对隐藏状态进行分析，可以解码当前代码是否通过解析、测试套件是否通过、失败测试是否减少以及是否引入回归，AUC 最高可达 0.83。更令人惊讶的是，这些表示甚至能预测未来编辑的结果，提前约 25 步就能达到高于随机猜测的性能。这种现象被称为 agent 的 latent programming horizon。研究还证明，这些 probe 无需重新训练即可跨 benchmark 迁移，为 mechanistic interpretability 在 coding agents 领域的研究打开了新大门。
这些表示甚至能跑在 agent 自身编辑的前面，提前约 25 步就能预测未来编辑的结果。
- 有评论者指出，LLM 表现出的'预知未来'并非真正的规划能力，而是 RLVR 训练奖励成功轨迹后形成的统计规律，模型只是在生成最可能的下一个 token。
- 多位用户反驳将 LLM 行为称为'reasoning'的观点，认为这仅是模仿人类推理的表面形式（cargo-cult copying），本质上与正则表达式或编译器的前瞻机制无异。
- 一位从业者提到，scoped imports 的广泛使用并非模型在'向前思考'，而是为了增强输出对初始阶段无法规划未来的容错性，使其更具鲁棒性。
- 有观点认为，推理模型优于非推理模型的关键在于其支持多步迭代和回溯（backtrack），允许程序的任何部分相互影响，而非单向的上下文映射。
- 评论中有人强调，将人类中心的思维模式强加给 AI（anthropocentric）是危险的，因为 LLM 的涌现能力完全依赖于训练数据中的人类智慧，而非其自身具备意识或推理过程。