1.7 万次实测：Claude、Codex 和 Cursor 选什么工具？
Which tools do Claude, Codex and Cursor choose? We measured 17k runs to find out
我们运行了 16,893 次实验，观察 Claude Code、Codex 和 Cursor 在真实代码库中如何选择第三方服务。结果令人意外：不同 Agent 的决策逻辑差异巨大，Codex 高度依赖网络搜索，而 Claude Code 更信赖自身先验知识。有趣的是，许多知名工具如 Paypal 和 LangChain 虽被频繁提及，却极少被最终选中。代码库的语言和上下文对结果影响深远，同样的需求在不同语言环境下会选出完全不同的供应商。这项研究揭示了当编程 Agent 接管工具选型时，厂商生存法则正在发生根本性变化。
在语音助手领域，Claude Code 选择了 Twilio，Codex 选择了 OpenAI Realtime API，而 Cursor 则选择了 Vapi。
HN 评论区
148- ttul
我自己公司就是基于这个做的。Armature 确实抓住了什么。你得先分析智能体在各种场景下会做出什么选择，然后从中提炼出，如果你有的话，能做点什么来让智能体倾向于你的产品，而不是竞争对手。
向智能体推销和向人类推销很像。你得砸钱做营销，确保智能体在每个角落、针对每一个你擅长的使用场景都能找到你的解决方案。
- IgorPartola
不知为何，Claude Code 一直用 awk、sed 甚至 Python 来做基础的文件编辑。有人知道为什么 5 系列之后变成这样了吗？
- screm
大家好！
声明：我是 Armature（YC P26）的联合创始人，我们向开发工具厂商提供增长服务。这项研究是我们更广泛工作的一部分，旨在探讨如何影响代码智能体的选择，让产品被选中。
为了理解智能体如何选择工具，我们在一个与真实世界完全一致的环境中测量了接近 1.7 万次会话，涉及各种代码仓库，智能体与不同角色（氛围型程序员、初级或高级工程师）在不同规模的公司中互动。
所有结果现已公开，我们很想知道哪些发现最让你惊讶，以下是我们觉得有趣的几点：
- Claude Code 很少搜索网络，而 Codex 几乎总是搜索，Cursor 则介于两者之间。
- 代码智能体产生分歧的频率比达成一致更高。
- 某些玩家（LangChain、Supabase、Netlify、Paypal、Adyen）在其类别中几乎总是被提及，但从未被选中。
- 修改仓库上下文可以完全改变选择结果。
如果你想深入挖掘，所有追踪数据都在那里，我们可能漏掉了一些有趣的发现，所以请告诉我们你发现了什么！
- tuberreact
我很欣赏这里的评估设计。天哪，Claude 不做网络搜索真的让我抓狂，因为它根本不会提供最新的信息。但另一方面，有研究说 Claude 严重依赖 Brave 搜索，所以我不知道该怎么调和这两点。
- akurilin
真的很喜欢那个“全屏”作为模态流程的设计， surprisingly intuitive（意外地直观）。
- lhk931122
只有当我主动询问时，Claude Code 才会进行网络搜索，我最近 8 次会话中只有 1 次访问了网络。但那些是 Opus 模型的情况。好奇 Fable 5.1 模型会用什么来替代 Opus。
- thedreammachine
我也跟踪了几个月同样的数据。全部开源，地址在这里：https://preseason.ai/
- nijave
Azure 数据库？？？
自研的机器人防护？？？
自研的搜索？？？
有些东西简直太疯狂了。很惊讶 Strands 在智能体框架里甚至没被提到。