Claude Code、Codex、Cursorの選択を17,000回の実行で測定——エージェントはどのツールを選ぶのか
Which tools do Claude, Codex and Cursor choose? We measured 17k runs to find out
Armatureは、コーディングエージェントがどのようにツールを選択するかを理解するため、最大規模の実験を実施しました。Claude Code、Codex、Cursorの3つのエージェントが、75のリポジトリと1,163のプロンプトバリエーションを使って実際にソリューションを実装した約17,000セッションを分析。その結果、エージェントが同じツールを選ぶのはわずか42%で、リポジトリのコンテキストが選択に大きく影響すること、また、言及されることと選ばれることは異なることが明らかになりました。例えば、PayPalは139回言及されたものの一度も選ばれず、Stripeが大半のセッションで勝利。一方、Neonはデータベース分野で66%のシェアを獲得しました。
エージェントが同じツールを選ぶのは、わずか42%のケースに過ぎません。
HNでの議論
144- natnatenathan
私は人々に、私たちはAIの黄金時代に生きていると話し続けている——Googleの最初の1〜2年のようなものだ。これらの企業が利益と囲い込みを追求するにつれて、すべては下り坂になる。
- ttul
私はこれを自分の会社のために作った。Armatureは何かを掴んでいる。まず、さまざまなユースケースに対してエージェントがどのような選択をするかを分析し、そこから、もしあるなら、エージェントを競合他社から離れて自社製品に向かわせるために何ができるかを読み取る。エージェントへの販売は人間への販売に似ている。あらゆる角で、あなたが適しているあらゆるユースケースに対して、エージェントがあなたのソリューションを見つけるようにするために、マーケティングに資金を投入する。
- IgorPartola
なぜかClaude Codeは基本的なファイル編集にawk、sed、さらにはPythonを使い続けている。なぜ5シリーズでそれが変わったのか、誰か知っていますか？
- theootzen
あなた自身は、それらのエージェントを実行するためにどのサンドボックスを使っていますか？ そして、そのプロバイダーをどのように選びましたか？
- thedreammachine
私は数ヶ月間、同じことを追跡してきました。すべてオープンソースで、こちらで利用可能です：https://preseason.ai/
- tuberreact
この評価設計は素晴らしいと思います。そして、Claudeがウェブ検索をしないのは本当に困る。なぜなら、最新の情報を提供してくれないからだ。同時に、ClaudeはBrave検索に大きく依存しているという研究もあります。だから、どう整合させればいいのかわかりません。
- akurilin
"Go Full Screen"をモーダルフローとして使うのが本当に気に入りました。驚くほど直感的です。
- screm
こんにちは！
免責事項：私はArmature（YC P26）の共同設立者であり、開発ツールに成長サービスを提供しています。この調査は、コーディングエージェントの選択に影響を与え、製品を選んでもらう方法についての、私たちのより広範な研究の一部です。
エージェントがどのようにツールを選ぶかを理解するために、私たちは、エージェントが実際の世界とまったく同じように動作する環境で、さまざまなリポジトリ上で、さまざまなペルソナ（vibeコーダー、ジュニアまたはシニアエンジニア）と、さまざまな規模の企業で対話しながら、約17,000セッションを測定しました。
すべての結果は公開されており、どの発見に最も驚かれるかをお聞かせいただきたいです。以下は、私たちが興味深いと感じたいくつかの発見です：
- Claude Codeはウェブを検索することはほとんどありませんが、Codexはほぼ常に検索し、Cursorはその中間です。
- コーディングエージェントは、同意するよりも頻繁に意見が分かれます。
- 一部のプレーヤー（LangChain、Supabase、Netlify、Paypal、Adyen）は、そのカテゴリでほぼ常に言及されますが、選ばれることはほとんどありません。
- リポジトリのコンテキストを変更すると、選択が完全に変わることがあります。
さらに掘り下げたい場合は、すべてのトレースがそこにあります。私たちはおそらく興味深い学びを逃しているので、見つけたことを教えてください！