Parsimony - Benchmark de código añadido por modelos de IA
Show HN: Parsimony – an open-source benchmark for how much code AI models add
Parsimony es un benchmark open-source que mide cuánto código añaden los modelos de IA al resolver tareas de programación. A diferencia de otras métricas, no premia el exceso de código: cuenta unidades sintácticas netas (añadidas menos eliminadas) y penaliza el código innecesario. Usa los parches publicados por SWE-bench Verified y evalúa modelos como los agentes de codificación. Ideal para desarrolladores que buscan eficiencia y mantenibilidad. Incluye leaderboard, método detallado y opción de añadir tu propio benchmark.
Los benchmarks existentes miden la tasa de éxito y el coste, pero no penalizan el exceso de código, lo que hace que un código base sea más difícil de mantener a largo plazo.