Unreal Agent:让 AI 代理成本降低 40%

我们在部署 AI 代理时发现,模型在管理工具调用上浪费了太多时间和 Token。为此,Unreal Labs 推出了 Unreal Agent,通过完全异步的工具调用机制,让模型无需等待、轮询或心跳检查。这不仅让用户能随时干预代理进程,还让代理能在模型调用间隙并行处理更多任务。实测数据显示,相比 Codex 和 Pi,Unreal Agent 在真实工作负载中实现了最高 40% 的成本节省,同时在 Terminal-Bench 等多个基准测试中保持了领先的通过率。
我们相信,harness 设计本身就是一个独立的研究领域,其中仍有大量富有前景的想法等待被研究和实现。
HN 评论区
121- dvt
我觉得这个领域还非常未被开发。模型本身很有趣,但过去几年我研究/一直在死磕的某些东西让我绝对着迷:
分形工具发现:一种工具分类法,代理可以“深入挖掘”以找到它正在寻找的具体工具。当上下文被成千上万(大多没必要)的工具污染时,这很有帮助。
利用伸展树(splay trees):这是我最喜欢的数据结构,我认为在代理/harness 的语境下相对未被使用。很多时候,最近使用的工作流/工具链会被再次使用,所以把它们放在搜索层级顶部是一个绝佳的优化。
虚拟容器化笔记本:模型在沙箱化(WASI)的 Python 笔记本中工作简直太棒了。即使是本地模型(如果给足时间)通常也能收敛到一个不错的解决方案。能够挂载工具/资源/文件系统,在我看来同样非常未被开发。这里的一些问题是,在容器中运行原生内容(比如 numpy/pandas)是个噩梦(或者根本不可能)。
总之,很高兴看到其他人在这个领域认真做事。如果任何人想合作,别犹豫,随时联系 :) 我也正在积极寻找工作或一些合同项目。
好戏在后头。
- tekacs
标题里的图表有点奇怪。
不知为何,他们拿在 Astra xhigh 上运行的 harness 和 Codex 在 Astra max 上的表现做对比?
---
另外值得一提的是,OpenAI 刚刚在他们的 harness 中增加了对 async 工具调用的支持,虽然这与该方案并非 1:1 对应,但也在逐步提升,能够提供类似的功能。
Codex 之所以消耗大量 token,很大一部分原因是它基本上在无意义的轮询任务上死循环:https://www.reddit.com/r/codex/comments/1wdlp7q/weve_discove...
我在我 fork 的 Codex 上也修复了这个问题,也是在一二月份,我一直保持这个补丁的 rebase,有需要的可以拿去:https://github.com/tekacs/codex/commit/9ffcf8db9078eae43d411...
它带来的 token 节省规模与 Unreal 在这里展示的相当。
---
我的 harness 自 ~2 月份起就使用了比 Unreal 更花哨一点的类似方案,而且……它确实效果极佳,但在 Astra 和其他近期更了解 async 工具调用的模型上,运行起来也更加顺滑。
- ozozozd
我想 GPT 模型在输入对 Codex 不利时会暗讽几句:
“表面上看,Unreal Agent 以更少的模型轮次和更少的输入 token 实现了相同的结果。”
(加粗部分为我强调)
- tapoxi
当 Epic 发布一款大受欢迎的 Unreal Engine 时,这听起来像是个商标问题。
- pyrolistical
有趣的是,我通过让 Claude 写一个 pi 扩展解决了这个问题
https://github.com/Pyrolistical/pi-notify
现在我的 pi 代理会设置自己的触发器,在后台进程完成时通知自己