Rich Sutton：AI研究中的“一步陷阱”

The One-Step Trap (In AI Research)

Rich Sutton 在最新文章中犀利指出，AI 研究正深陷“一步陷阱”。许多研究者误以为只需学会一步预测模型，就能通过迭代推演所有长期后果，仿佛拥有了物理定律般的模拟器。然而，只要一步预测存在微小误差，长期预测就会因误差累积而彻底崩塌，且计算复杂度呈指数级爆炸。这种看似诱人的“一步模型”在 POMDPs 和控制理论中广泛存在，实则毫无希望。Sutton 主张放弃这种幻想，转而利用 Options 和 GVFs 构建时间抽象模型，这才是通往可靠 AI 的正确路径。

"如果一步预测无法做到完美准确，那么所有长期预测的赌注都将付诸东流。"