17.000 Sessions: So entscheiden Claude Code, Codex und Cursor, welche Tools sie installieren
Which tools do Claude, Codex and Cursor choose? We measured 17k runs to find out
Armature hat in einem groß angelegten Experiment untersucht, wie Coding-Agenten wie Claude Code, Codex und Cursor Drittanbieter-Tools auswählen. Dafür wurden 16.893 Sitzungen mit 1.163 Prompt-Varianten, 75 Repositories und vier verschiedenen Personas (vom Vibe-Coder bis zum Enterprise-Entwickler) durchgeführt. Die Ergebnisse zeigen, dass die Agenten in nur 42 % der Fälle zum selben Tool greifen, der Repository-Kontext eine große Rolle spielt und Erwähnungen nicht gleichbedeutend mit Siegen sind. So wird Stripe 124-mal gewählt, während PayPal 139-mal erwähnt, aber nie ausgewählt wird. Die vollständigen Traces sind öffentlich einsehbar.
In nur 42 % der Zellen wählen alle drei Agenten dasselbe Tool – in der Kategorie Voice-Agents etwa setzt Claude Code auf Twilio, Codex auf die OpenAI Realtime API und Cursor auf Vapi.
- natnatenathan
Ich sage immer wieder, dass wir im goldenen Zeitalter der KI leben – wie in den ersten ein oder zwei Jahren von Google. Es geht nur noch bergab, während diese Unternehmen auf Profit und Lock-in drängen.
- ttul
Ich habe das für mein eigenes Unternehmen gebaut. Armature ist da etwas auf der Spur. Man beginnt damit, die Entscheidungen zu analysieren, die Agenten für verschiedene Anwendungsfälle treffen würden, und leitet daraus ab, was man – wenn überhaupt – tun könnte, um die Agenten in Richtung des eigenen Produkts und weg vom Konkurrenten zu lenken. An Agenten zu verkaufen ist ähnlich wie an Menschen zu verkaufen. Man steckt Geld ins Marketing, um sicherzustellen, dass Agenten deine Lösung an jeder Ecke für jeden Anwendungsfall finden, für den du gut geeignet bist.
- IgorPartola
Aus irgendeinem Grund verwendet Claude Code ständig awk, sed und sogar Python für einfache Dateibearbeitungen. Weiß jemand, warum sich das mit der 5er-Serie geändert hat?
- thedreammachine
Ich verfolge dasselbe seit ein paar Monaten. Alles Open Source und hier verfügbar: https://preseason.ai/
- theootzen
Welche Sandboxes verwendest du selbst, um diese Agenten auszuführen? Und wie hast du diesen Anbieter ausgewählt?
- tuberreact
Ich schätze das Eval-Design hier. Und Mann, dass Claude keine Websuchen durchführt, bringt mich um, weil es einfach nicht die aktuellsten Informationen bietet. Gleichzeitig gibt es Forschungsergebnisse, die besagen, dass Claude stark auf die Brave-Suche angewiesen ist, also bin ich mir nicht sicher, wie ich das in Einklang bringen soll.
- akurilin
Ich fand den "Go Full Screen"-Modus als modalen Ablauf wirklich gut, überraschend intuitiv.
- screm
Hey!
Haftungsausschluss: Ich bin Mitbegründer von Armature (YC P26), das Wachstumsdienste für Entwickler-Tools anbietet. Diese Studie ist Teil unserer breiteren Arbeit darüber, wie man die Entscheidungen von Coding-Agenten beeinflussen und erreichen kann, dass Produkte ausgewählt werden.
Um zu verstehen, wie Agenten Tools auswählen, haben wir fast 17.000 Sitzungen in einer Umgebung gemessen, in der Agenten genau wie in der realen Welt arbeiten, auf verschiedenen Repositories, mit verschiedenen Personas (Vibe-Coder, Junior- oder Senior-Entwickler) in Unternehmen unterschiedlicher Größe.
Alle Ergebnisse sind jetzt öffentlich und wir würden gerne wissen, welche Erkenntnisse Sie am meisten überraschen. Hier sind einige, die wir interessant fanden:
- Claude Code sucht selten im Web, während Codex fast immer sucht und Cursor in der Mitte liegt.
- Coding-Agenten sind häufiger uneinig als einig.
- Einige Player (LangChain, Supabase, Netlify, Paypal, Adyen) werden in ihren Kategorien fast immer erwähnt, aber nie ausgewählt.
- Die Änderung des Repository-Kontexts kann die Auswahl komplett verändern.
Wenn Sie Lust haben, zu stöbern, sind alle Spuren da und wir haben wahrscheinlich interessante Erkenntnisse übersehen – lassen Sie uns wissen, was Sie finden!