别忽视界面：AI 无法绕过点击
You can't solve computer use by ignoring the interface
尽管 LLM 在对话中表现惊艳，但在实际操作电脑时却频频受挫。在 OSWorld-V2 等基准测试中，顶级模型的完成率仅约 20%。问题在于，这些智能体往往试图绕过界面，通过调用 API 或编写 JavaScript 来完成任务，而非像人类一样直接点击按钮。这种“作弊”策略在真实场景中不仅不可靠，还消耗了大量算力。Steelman Labs 指出，单纯堆砌模型参数已走入死胡同。真正的突破在于将规划与执行分离，构建具备人类级反应速度和运动控制能力的 System 1，让智能体能够真正驾驭任何界面，而非绕道而行。
我们使用万亿级推理模型去绕过点击操作，这才是代理式电脑使用的核心问题。
HN 评论区
36- juancn
鼠标移动时那个烦人的拖尾效果一出，我就看不下去了。
你明明在倡导良好的 UI，结果自己搞出个让人难以阅读和使用网站的垃圾设计。这有点讽刺。
求求了，别再瞎折腾选区、鼠标光标、复制/粘贴这些基础功能了。
- drob518
文章指出在某些基准测试中，AI 绕过了 UI，随后又提到有时 API 可能不可用。言下之意是，如果那样我们就惨了。但真的会吗？如果 API 不存在，AI 还能完成任务吗？文章对此没有任何详细探讨，也没有将前沿 AI 在这些任务上的表现与该公司售卖的模型进行直接对比。从某种意义上说，如果 API 可用，我并不怪 AI 选择走 API 这条路。事实上，它能找到并正确使用 API，这反而令人印象深刻。这似乎并不是什么“天要塌了”的论据。
- gandreani
元评论：有趣的是，前几条评论根本没谈模型，全在吐槽网站的鼠标拖尾效果。一个支持，一个反对。简直把社会现状概括得淋漓尽致，哈哈。
回到模型本身。能每 70ms 执行一次操作真的很酷。这比大多数推理 API 的首字延迟（TTFT）快了不止 10 倍。这肯定是个本地模型。完全不知道它属于哪个家族、具体是哪个模型，或者运行在什么硬件上。这些细节要是能稍微透露一下就好了！
- kvark
我们面前有两条路：
- 要么进化我们的计算机 UI 系统，让它们高效运行，也就是把所有操作都转化为 API 调用。
前沿实验室正在推动这一方向，从 Claude Cowork 强制要求的 Chrome 插件开始。
- 要么让 AI 系统像人类一样通过屏幕操作——这正是文章所主张的。
这两条路都是可行的。从长远来看，其中一条效率远高于另一条。而另一条或许不可避免。
- nvch
看到智能体（agents）多么喜欢使用并推动功能性的无障碍（a11y）树，我们可能顺便就解决了无障碍问题。