Mercury 2.5：扩散式 LLM 的新标杆
Inception 发布了 Mercury 2.5，这是目前市场上能力最强的扩散式大语言模型。相比前代，其智能水平提升 40%，推理速度在 NVIDIA GPU 上可达每秒 1107 tokens，同时保持极低延迟和成本。该模型已在搜索代理、语音交互及代码助手等生产环境中验证，显著降低了响应时间并压缩了成本。Mercury 2.5 不仅支持 26 万 token 上下文，还推出了 Mercury Voice 和 Mercury Router 预览版，为实时语音和智能路由提供新方案。
在语音领域，延迟不仅仅是基础设施的细节，它是通话者听到的停顿。
HN 评论区
51- auspiv
这个团队处境艰难——他们需要快速创新，让模型尽快占据有利位置。他们正与各种规模相似、被烧录进 ASIC 并以相似（甚至更快）速度运行的模型争分夺秒。
- BoredomIsFun
我试着用它进行创意写作——关闭推理功能时，表现明显优于 Mercury 2，整体质量不错，并不粗糙。但开启推理后，效果反而变差，开始产生幻觉；这是我近期在所有模型上观察到的现象：在创意写作任务中开启推理会导致幻觉。
- schopra909
利用扩散技术加速语言模型的想法很有吸引力，但离散扩散模型似乎并不如离散非扩散模型效果好。这其实很合理，因为 token 没有易于添加噪声的隐式连续表示。你必须学习一个连续嵌入并设计如何对其加噪，这对蒸馏（例如 Gemma 模型、drafter heads）很理想，但对预训练未必如此。
今年在语言模型的连续空间扩散方面已有更多新研究。Sander Dielman 有一篇很好的博客文章介绍了相关内容。
但如果让我预测扩散在 LLM 中的最终落脚点，它将被用于类似 Astra 的循环模型中。一旦推理发生在隐藏状态中，我们就处于一个理想的连续域，非常适合扩散。我们最终会用扩散来预测下一个“时间步”的模型隐藏状态，从而取代“循环”操作。这样一来，生成轨迹（虽然不再对人类可理解）的时间将快 10 倍。
- Sphax
看到它提到“广泛可用的 GPU”时，我一度以为会是开源权重，但遗憾的是似乎并非如此。
- piterrro
我正在用这个模型对向量库的检索结果进行“重排序”。模型接收一组结果，并被要求输出一串由 1 和 0 组成的字符串，其中偏移量对应结果集中的位置。提示词大致是：“这组结果是否与提供的查询 X 匹配”。效果极佳。通常我会使用小型非推理模型，但鉴于 Mercury 生成输出的速度极快——这正是我优化的目标，即不增加搜索延迟——它帮助我们的搜索效果提升到了接近专用重排序模型的水平。