17.000 Sessions: So entscheiden Claude Code, Codex und Cursor, welche Tools sie installieren
Which tools do Claude, Codex and Cursor choose? We measured 17k runs to find out
Armature hat in einem groß angelegten Experiment untersucht, wie Coding-Agenten wie Claude Code, Codex und Cursor Drittanbieter-Tools auswählen. Dafür wurden 16.893 Sitzungen mit 1.163 Prompt-Varianten, 75 Repositories und vier verschiedenen Personas (vom Vibe-Coder bis zum Enterprise-Entwickler) durchgeführt. Die Ergebnisse zeigen, dass die Agenten in nur 42 % der Fälle zum selben Tool greifen, der Repository-Kontext eine große Rolle spielt und Erwähnungen nicht gleichbedeutend mit Siegen sind. So wird Stripe 124-mal gewählt, während PayPal 139-mal erwähnt, aber nie ausgewählt wird. Die vollständigen Traces sind öffentlich einsehbar.
In nur 42 % der Zellen wählen alle drei Agenten dasselbe Tool – in der Kategorie Voice-Agents etwa setzt Claude Code auf Twilio, Codex auf die OpenAI Realtime API und Cursor auf Vapi.