En 27.280 ejecuciones de agentes de código, el 64% del gasto en inferencia se fue en ejecuciones fallidas
In 27,280 coding agent runs, 64% of inference spend went to runs that failed
Runta y Baseten evaluaron 22 configuraciones de harness con 5 modelos en 62 tareas de terminal, totalizando 83.000 millones de tokens. Descubrieron que el mejor harness cambia según el modelo: Codex CLI fue el más barato con GLM-5.3 pero cayó al puesto 16 con Kimi-K3. Con el modelo fijo, la diferencia de costo entre harnesses va de 1,8 a 5,0 veces, y el 64% del gasto en inferencia correspondió a ejecuciones que fallaron.
Con el modelo fijo, el 68% de la variación entre harnesses (4,9 de 7,2 puntos) depende de la pareja, o es ruido.
- seizethecheese
El titular aquí es confuso. Ejecutaron un montón de combinaciones de harness y agentes en tareas de terminal bench, y el 64% del gasto fue en tareas que no pasaron los verificadores de terminal bench.
No está claro si se supone que eso es sorprendente en comparación con los modelos seleccionados para el benchmark. Sospecho que no lo es y que el titular está escrito para complacer a los upvotes de "desperdiciar dinero en IA".
Edición: cambiaron el título. El que se usó para llegar a la portada era algo como "Across N agent runs 64% of agent cost went to failing runs".
Edición2: como el enlace es de baja calidad, intenté responder algunas de estas preguntas yo mismo usando 927k ejecuciones de agentes frente a las 27k de esta entrada del blog: https://micjm.com/blog/on-model-harness-interactions/. La conclusión: no hay muchas interacciones harness x modelo. Los modelos de OpenAI sí parecen tener una preferencia.
- Zigurd
Me encuentro tironeado en dos direcciones por el rendimiento de los agentes de código: Primero, mantenerlos cortos de correa parece sensato. No obtengo resultados fallidos muy a menudo. Cuando empecé a usar agentes de código, esto no solo parecía sensato sino necesario para no lidiar con un montón de rarezas alucinadas. Segundo, sin embargo, es bastante genial agitar la mano vagamente en cierta dirección y obtener tanto interfaz de usuario como lógica de negocio que es objetivamente mejor de lo que habría obtenido con el esfuerzo que habría puesto en codificar manualmente. Cada vez que uso un agente de código con cautela, me pregunto qué me estoy perdiendo al no dejarlo cocinar.
- cpeth
Los harness son todos bucles bastante simples de los que he visto; no tienen mucho.
Como alguien que usa regularmente Claude Opus 5.5 desde Claude Code y desde Copilot, diría que el harness apenas importa en términos de rendimiento y comportamiento general. Opus es casi idéntico en ambos harness. Lo contrario también es cierto: si cambio Copilot a algo como Gemini 4 Argon, es completamente diferente aunque esté en el mismo harness.
Solo algo de anécdota.
- xyzzy_plugh
No me gusta este enfoque.
Para un modelo dado, el mejor harness depende del problema. A medida que los modelos se vuelven cada vez más capaces, el harness parece importar más que el modelo. Esto quizás sea controvertido pero permítanme explicarme.
La mayoría de mis problemas están en un solo dominio, usando herramientas y lenguajes de programación específicos. Le doy al modelo de moda las herramientas específicas que necesita para resolver el problema. No lo dejo ejecutar scripts o programas arbitrarios (aunque puede, si realmente lo intenta). Le doy un número restringido de llamadas y le retroalimento esa información (presupuesto). Le permito delegar trabajo a otros modelos, usando el mismo harness. Le doy un presupuesto a todo, que se rastrea y se aplica, pero no es real, y se recarga en diferentes momentos.
Este harness hecho a medida y especializado supera absolutamente a cualquier otro harness convencional para estas tareas. Significativamente más rápido, más barato, más correcto.
Pero no puedo construir una app móvil con este harness, ni hacer una película.
Estas pruebas hacen lo mismo. Miden un puñado de escenarios. No puedo decir fácilmente si esos se corresponden con mis necesidades o no. En mi experiencia, muy pocos lo hacen.
¿Pueden estos harness de propósito general resolver mis problemas? Sí, si estoy dispuesto a dejar que el modelo trabaje durante mucho tiempo y queme muchos tokens. Pero eso no parece una práctica sostenible.
Quizás soy demasiado pronto, quizás es prematuro optimizar el harness de esta manera, pero estoy gastando menos tokens que mis pares y haciendo mucho más, y eso importa.
- bisonbear
Estos son resultados interesantes y me alegra que se inviertan tokens para evaluar las capacidades del harness.
Sin embargo, dudo de la correlación entre aprobado/fallido en las evaluaciones, que son un binario 0/1 determinado por pruebas, y el uso en el mundo real, donde los usuarios pueden dirigir, ejecutar revisión de código y preocuparse por más que solo aprobar/fallar pruebas.
Escribí sobre el problema de determinar el "éxito" para los agentes de código, y mucho se reduce al hecho de que los agentes pueden escribir código tonto que pasa las pruebas, y escribir código inteligente que falla las pruebas, y necesitamos pasar a recompensar la calidad del código y la alineación con la intención en lugar de solo la señal en pruebas reservadas (¡que sigue siendo importante!)
- alok-g
Pregunto genuinamente: ¿Por qué Kilo code (https://kilo.ai) no está presente en este y en la mayoría de análisis similares? Tampoco se habla mucho de ello en HN en general.
- zodwick
Me pregunto si existe una mejora correlativa entre el harness propio del mismo laboratorio y el modelo.
Por ejemplo, recuerdo que Codex tenía un formato de número de línea diferente al de CC y todos los demás harness tenían que tener una herramienta de dos formatos para maximizar el rendimiento.
Me pregunto si tal cosa existe todavía o si ahora hacen RL en todas las combinaciones posibles.
- ford
Para que quede claro: "Fallido" aquí significa "No cumplió con todos los criterios de aprobación en una tarea de benchmark dada", no "Experimentó un fallo en tiempo de ejecución".