Ningún modelo de IA supera el 39% en tareas reales de código empresarial privado
Real-SWE: Benchmarking AI models on private, real-world, enterprise codebases
El benchmark Real-SWE evalúa modelos frontera en tareas extraídas de bases de código privadas de empresas reales, con consecuencias de negocio y complejidad específica. Fable 5.1 lidera con 38.8% de resolución, seguido de GPT-6 Astra (33.8%) y Gemini 3.8 Flash (31.2%). El 71.4% de los intentos cortos fracasan, y el fallo más común es omitir requisitos. Cada tarea se ejecuta ocho veces por modelo, con costes estimados de $2.50 a $6.96 por rollout.
El 99% de los tokens en las empresas del mundo real están ocultos para los modelos frontera.
- springtimesun
Construí exactamente esto usando mis propios codebases. La configuración no es tan compleja; divide el historial de git hasta justo antes del cambio, pon al agente en un sandbox con todo lo que necesitará en ese commit y modifica ligeramente las reglas para que no vayan buscando fuera de la caja. Luego reciben el mismo prompt (normalmente el ticket que inició el trabajo) y se les califica contra el PR aceptado.
Lo que más tiempo lleva es encontrar los ejemplos. En mi flujo real de desarrollo rara vez es ticket -> PR -> merge, las cosas rebotan mucho más. Así que, aunque el objetivo declarado es alejarse de los one shots, ese es básicamente el entorno que tienes que configurar o, si no, testear por otros resultados específicos (p. ej. el agente se detuvo y planteó una pregunta cuando se dio cuenta de x).
Lleva tiempo hacerlo, pero lo recomendaría encarecidamente. Ahora puedo pasar nuevos modelos abiertos por las baterías y ver cómo se alinean con los anteriores en unos pocos días (los ejecuto localmente, es lento). Mueve mi percepción de "el modelo x es bueno en y y malo en z" de vibes a una heurística mejor (estos siguen corriendo a temp 1, la heurística es la forma correcta de pensar en los resultados, en mi opinión). Lo aterriza en tu código y tu espacio de problemas reales.
Mi conclusión de mis pruebas: en codebases de Rails o de front end, la mayoría de los modelos que pruebo son competentes y con un humano en el loop lograrían su objetivo de llegar a un PR mergeable. No son tan buenos como Claude y, como pago tarifas subsidiadas vía suscripción, Claude sigue teniendo el primer pase. Vale mucho la pena incorporarlos como revisión […]
- glub
Me sorprende que Sol y Astra lideren la métrica de "Suposición no verificada" y que Fable sea mejor ahí.
Yo uso Fable como mi modelo principal con Sol como asesor que vigila cada turno. A Fable le gusta lanzar suposiciones que no verificó y que son simplemente falsas, y Sol siempre va a verificarlas de verdad y luego le avisa a Fable que está asumiendo cosas.
He intentado invertir este emparejamiento con Fable como asesor. Se queda ahí sentado diciendo "suena bien".
- prometheus1992
¿Esto significa que terminaron compartiendo esos codebases privados con OAI, Anthropic, etc.? Además, el número de ~30% coincide con mi experiencia. Pensé que me estaba volviendo loco por esperar demasiado de los modelos, pero siguen siendo malos, incluyendo astra. Esta mañana arruinó algo bastante trivial mientras arreglaba un issue, lo cual me sorprendió ver. Además2, los benchmarks no significan mucho estos días.
- lmeyerov
Mi intuición es que muchos de los mejores y más grandes codebases "privados", al menos en términos de claude code y codex... no son de hecho privados en este punto.
Una lección de ejecutar botsbench.com, en un dominio ligeramente distinto, es medir la contaminación de modelos cada vez.
- jstummbillig
Estoy intentando estimar si mi reacción al ver a GPT-5.6 Sol último en esa lista es razonable o mayormente emocional, y encuentro que no tengo forma de saberlo.
- skhameneh
Algunas cosas en esto parecen razonables, pero otras simplemente no tienen sentido y faltan detalles cruciales (como los niveles de razonamiento y qué harness se usó).
Por ejemplo, encontré que Kimi K3 usa más tokens que algunos otros modelos, lo que hizo que costara el doble solo por el volumen de tokens. Esta experiencia coincide con los benchmarks de ArtificialAnalysis, pero no con estos.
Hay otras comparaciones aquí que no coinciden con mi experiencia ni con otros benchmarks. Según muchos, esto es el outlier.
Podría atribuir las diferencias a los harnesses usados o a algo como los niveles de razonamiento, pero ninguno de esos detalles está publicado.
Aunque esto parece interesante, no puedo tomármelo en serio.
Corrección: Los harnesses están listados como una columna, se me pasó eso. Mis otras preocupaciones y preguntas siguen en pie, no está claro por qué algunos de sus resultados son el outlier que no coincide con mi experiencia, los benchmarks de ArtificialAnalysis, o algunas de las experiencias de otros que comentan.
- matheusmoreira
Usé una metodología similar. La revisión de código es mi acción más solicitada, así que usé resultados de revisión de código a ciegas para comparar las IAs de frontera.
Incluso publiqué un artículo al respecto:
https://www.matheusmoreira.com/articles/code-reviewing-lone-...
A diferencia del TFA, el código lisp solitario es público. Supongo que los modelos podrían haber sido entrenados con mi codebase. Aun así, creo que produjo algunos resultados interesantes.
Me llevó meses y muchísimos tokens hacer esto, así que no voy a repetir este estudio a medida que salgan nuevos modelos. Sin embargo, ancló todas mis expectativas futuras. OpenAI está ganando hasta donde a mí respecta, y su programa de ciberseguridad es el único punto de dolor que queda.
- visiondude
este es el benchmark más cercano a mi experiencia usando la combinación de modelo y harness. Astra, por muy bueno que sea, se queda ligeramente por detrás de Fable 5.1 para mí en trabajo de features grandes (aunque comenta el código mucho mejor). en particular, Fable es capaz de evaluar mejor la prioridad que Astra (es decir, Astra a veces hace cosas que no valen la pena mientras se pierde cosas que son claramente importantes, sobre todo en posibles escenarios de inflación - fable capta "esto funciona para x cantidad de datos pero si ejecutamos esto con y mucho mayor que x cantidad de datos nos encontraremos con problemas"). Gemini 3.8 está infravalorado, usa Google Stitch para verlo en acción si aún no has usado Agy.