Coding Agents 竟能预知未来代码走向

Coding agents think ahead of time

Coding Agents 在解决软件工程任务时，往往需要经历数十步的推理、编辑和测试，但很少有人知道其背后的语言模型究竟在内部如何表示程序。研究发现，语言模型的 residual streams 线性编码了程序的演化属性：通过 logistic-regression probe 对隐藏状态进行分析，可以解码当前代码是否通过解析、测试套件是否通过、失败测试是否减少以及是否引入回归，AUC 最高可达 0.83。更令人惊讶的是，这些表示甚至能预测未来编辑的结果，提前约 25 步就能达到高于随机猜测的性能。这种现象被称为 agent 的 latent programming horizon。研究还证明，这些 probe 无需重新训练即可跨 benchmark 迁移，为 mechanistic interpretability 在 coding agents 领域的研究打开了新大门。

"这些表示甚至能跑在 agent 自身编辑的前面，提前约 25 步就能预测未来编辑的结果。"