Claude Code、Codex、Cursorの選択を17,000回の実行で測定——エージェントはどのツールを選ぶのか

Which tools do Claude, Codex and Cursor choose? We measured 17k runs to find out

Armatureは、コーディングエージェントがどのようにツールを選択するかを理解するため、最大規模の実験を実施しました。Claude Code、Codex、Cursorの3つのエージェントが、75のリポジトリと1,163のプロンプトバリエーションを使って実際にソリューションを実装した約17,000セッションを分析。その結果、エージェントが同じツールを選ぶのはわずか42%で、リポジトリのコンテキストが選択に大きく影響すること、また、言及されることと選ばれることは異なることが明らかになりました。例えば、PayPalは139回言及されたものの一度も選ばれず、Stripeが大半のセッションで勝利。一方、Neonはデータベース分野で66%のシェアを獲得しました。