HybridAgents：推理快2.6倍，Token省一半
Hybrid Reasoning Agents: 35–55% fewer tokens and up to 2.6× faster inference
现代LLM代理仍依赖文本进行推理和交互，而潜在推理虽高效却缺乏工具访问能力。HybridAgents通过HybridLink架构，在文本与潜在模式间动态切换，既保留工具集成能力，又让思维过程可被直接检查。结合HybridSFT与HybridRL训练算法，该方案在数学、科学、医疗等11个基准测试中，性能提升10.4%，Token消耗减少35%-55%，推理速度提升1.8至2.6倍，成本节省2.7至3.7倍。代码与数据已开源，为智能体开发提供新范式。
我们如何构建一个能超越人类语言进行思考，却依然通过语言在外部环境中行动的代理？
HN 评论区
236- SubiculumCode
这不就是 OpenAI 至少在精神层面上正在做的事吗？在输出思考 token 之前，让网络运行多次前向传播。同样的问题在于安全和控制，因为能够解读思考 token 有助于我们控制/监控不当行为，而在输出思考 token 之前进行多次前向传播会增加其欺骗能力？
- bhattisatish
代码地址：https://github.com/togethercomputer/HybridAgent
LLM 模型和数据：https://huggingface.co/collections/togethercomputer/hybridag...
- sinuhe69
听起来理论上挺不错。但我用 huggingface.co/mradermacher/hybridagent-8b-agentic-gguf:IQ4_XS 测试了一个简单问题：“谁是教皇？”，结果它陷入了无限思考循环，根本无法完成任务。
```
Okay, the user is asking who the pope is. The pope is the leader of the Catholic Church. The current pope is Pope Francis, who became pope in 2013 after Pope Benedict XVI resigned. There's no indication of a change since then, so the answer is Pope Francis.
Okay, the user is asking who the pope is. The pope is the leader of the Catholic Church. The current pope is Pope Francis, who became pope in 2013 after Pope Benedict XVI resigned. There's no indication of a change since then, so the answer is Pope Francis.
Okay, the user is asking who the pope is. The pope is the leader of the Catholic Church. The current pope is Pope Francis, who became pope in 2013 after Pope Benedict XVI resigned. There's no indication of a change since then, so the answer is Pope Francis.
```
然后我又给了它那个假球问题，它也没解出来。不过公平地说，似乎没有哪个 8B 模型能解出这个问题。
```
I have 9 balls that look exactly the same. But I know one ball is different. I only have a scale. Call scale(b1,b2)={-1;0;1} will tell me whether the left object b1 is heavier, same weight or lighter than the right object b2. How many times at minimum do we have to apply scale to find the different ball? Explain how we can achieve thi […]
- amluto
我想知道这和“全押”策略相比如何：扩大输入嵌入以适配输出（“Hybrid Link”之后）的潜在向量和 token 嵌入，即使在文本模式下也同时通过两者。毕竟，你在生成文本时本质上已经支付了运行潜在模式模型的全部成本，那为什么不让它同时进行潜在推理呢？
（或者干脆把向量加起来而不是用更宽的向量——大家似乎都能通过简单的向量相加获得不错的效果。）
- notnullorvoid
很期待看到它被应用到 Qwen 3.8 27B 上。它的推理输出往往包含大量重复陈述，我想这种混合推理方式更有可能将这些内容保留在潜在空间中。
- SwellJoe
我正在 llama.cpp 中运行 14B 版本（昨天的版本），使用的是 bartowski 的 8 位量化版。针对一个相当简单的聊天请求（其他类似大小的模型如 Gemma 4 12B 都能轻松处理），即一个网页搜索和数据总结任务（这类任务通常是这个尺寸模型的甜点区），它在五分钟内对同一段落的不同变体进行了循环，直到用尽了轮次配额。可能是 llama.cpp 需要更新才能适配这个模型，但它基于 Qwen 3，按理说支持应该挺好的。聊天模板和上游提供的一样，可能正确也可能不正确。我目前正在下载 16 位版本，看看是不是量化导致的病理现象。
我也不确定它知不知道什么是 CSV，因为它在推理阶段把数据放进了 Markdown 表格中，作为展示数据的示例（我的提示词明确要求返回 CSV 格式）。我过去对大多数 Qwen 微调模型的经验是它们会变笨，但基准测试结果却显示相反，所以我只能假设这是 llama.cpp 的兼容性问题。
编辑：BF16 版本也出现了同样的循环问题。所以，可能得等 llama.cpp 更新了。
- incognito124
这和 Astra 的循环 Transformer 有什么区别？那种架构也是在潜在空间中进行推理的。
- cwyers
哦酷，这就是“最被禁止的技术”啊。