Octopus deja de medir la tasa de fallos: la IA duplicará los defectos que llegan a los clientes
Engineering Vitals in the Age of AI

Andrew Best, CTO de Octopus, explica por qué su empresa abandonó la tasa de fallos de cambio y ahora cuenta cada mes los defectos de severidad 0-2 que llegan a los clientes. Con la IA multiplicando los cambios, una tasa estable puede esconder el doble de fallos reales. Su apuesta: medir el volumen de pull requests como tendencia, sin objetivos, junto a métricas de entrega y calidad que mantengan la velocidad bajo control.
Los clientes no experimentan un porcentaje. Experimentan el defecto.
- devmor
Un problema que tengo con algunas de estas mediciones de valor es que apenas se habla de herramientas alternativas.
Veo un valor añadido en la IA, pero también creo que ese valor ya podría haber estado ahí —y potencialmente de forma mucho más fiable y menos costosa— si la gente adecuada se hubiera preocupado por implementarlo antes de este punto.
Mi propia observación es que muchas organizaciones de ingeniería han sido negligentes con las buenas prácticas y/o el tooling, y que la IA, al ser lo nuevo de moda, está llenando el hueco donde faltaban esas cosas. Algo así como medir la productividad de un trabajador hambriento frente a un trabajador con cocaína y no pensar nunca en medir qué pasa si le das tres comidas al día.
Me gustaría ver más publicaciones de este tipo que analicen exactamente en qué consiste el valor que están viendo en la IA, y que evalúen si la IA es siquiera la herramienta correcta para ese valor añadido.