Claude Code, Codex y Cursor: 16.893 sesiones revelan qué herramientas eligen
Which tools do Claude, Codex and Cursor choose? We measured 17k runs to find out
Armature analizó 16.893 sesiones de agentes de codificación (Claude Code, Codex y Cursor) para descubrir cómo eligen herramientas de terceros. Los resultados muestran que los agentes rara vez coinciden (solo en el 42% de los casos), que el contexto del repositorio es clave (el ganador de email cambia según el lenguaje) y que ser mencionado no garantiza ganar: PayPal fue citado 139 veces y nunca elegido. El estudio incluye 5.292 trazas públicas para que desarrolladores y vendedores exploren los datos.
PayPal se cita 139 veces y nunca se elige (Stripe ganó 124 de esas 139 sesiones).
- natnatenathan
No dejo de decirle a la gente que estamos viviendo la edad de oro de la IA, como los primeros uno o dos años de Google. Todo va cuesta abajo a medida que estas empresas buscan el beneficio y el bloqueo.
- ttul
Construí esto para mi propia empresa. Armature está en algo. Empiezas analizando las elecciones que los agentes harían para varios casos de uso y luego deduces qué, si acaso, podrías hacer para empezar a inclinar a los agentes hacia tu propio producto y alejarlos del competidor. Vender a los agentes es similar a vender a los humanos. Inviertes dinero en marketing para asegurarte de que los agentes encuentren tu solución en cada esquina para cada caso de uso para el que estés bien adaptado.
- IgorPartola
Por alguna razón, Claude Code sigue usando awk, sed, e incluso Python para hacer ediciones básicas de archivos. ¿Alguien sabe por qué eso cambió con la serie 5?
- thedreammachine
He estado siguiendo lo mismo durante unos meses. Todo es de código abierto y está disponible aquí: https://preseason.ai/
- theootzen
¿Qué sandboxes usas tú mismo para ejecutar esos agentes? ¿Y cómo elegiste este proveedor?
- tuberreact
Aprecio el diseño de la evaluación aquí. Y hombre, que Claude no haga búsquedas web me está matando porque simplemente no ofrecerá la información más actualizada. Al mismo tiempo, hay investigaciones que dicen que Claude depende en gran medida de la búsqueda de Brave, así que no estoy seguro de cómo reconciliar eso.
- akurilin
Me gustó mucho ese "Go Full Screen" como un flujo modal, sorprendentemente intuitivo.
- screm
¡Hola! Descargo de responsabilidad: soy cofundador de Armature (YC P26), que vende servicios de crecimiento para herramientas de desarrollo. Este estudio es parte de nuestro trabajo más amplio sobre cómo influir en las elecciones de los agentes de codificación y lograr que los productos sean elegidos. Para entender cómo los agentes eligen herramientas, medimos cerca de 17 mil sesiones en un entorno donde los agentes se ejecutan exactamente como en el mundo real, en varios repositorios, hablando con diferentes personas (vibe-coder, ingenieros junior o senior) en empresas de diferentes tamaños. Todos los resultados ahora son públicos y nos encantaría saber qué hallazgos te sorprenden más; aquí hay algunos que nos parecieron interesantes: - Claude Code rara vez busca en la web mientras que Codex casi siempre lo hace y Cursor está en el medio. - Los agentes de codificación discrepan más a menudo de lo que coinciden. - Algunos actores (LangChain, Supabase, Netlify, Paypal, Adyen) casi siempre se mencionan en sus categorías pero nunca se eligen. - Modificar el contexto del repositorio puede cambiar la elección por completo. Si te apetece profundizar, todos los rastros están ahí y probablemente nos perdimos aprendizajes interesantes, así que cuéntanos qué encuentras.