Octopus misst den Wert von KI nicht in Tokens, sondern in Kundenschäden
Engineering Vitals in the Age of AI

Wie lässt sich belegen, dass KI die Softwareentwicklung wirklich besser macht? Andrew Best, CTO von Octopus, hält Kennzahlen wie generierte Codezeilen oder verbrauchte Tokens für wenig aussagekräftig und reine Wertversprechen für bloße Wunschvorstellungen. Stattdessen hat Octopus seine Engineering Vitals neu aufgesetzt: Kennzahlen zu Lieferzeit, Build-Stabilität und Wiederherstellungszeit, dazu die absolute Zahl schwerer Fehler, die Kunden erreichen. Die Change Failure Rate lehnt er bewusst ab, denn bei doppelt so vielen Merges verdoppelt sich die Fehlerzahl, während der Prozentsatz unverändert bleibt.
Kunden erleben keinen Prozentsatz. Sie erleben den Fehler.
- devmor
Ein Problem, das ich mit einigen dieser Wertmessungen habe, ist, dass kaum über alternative Werkzeuge gesprochen wird.
Ich sehe einen Mehrwert durch KI, aber ich glaube auch, dass dieser Mehrwert schon vorher hätte da sein können – und möglicherweise viel zuverlässiger und kostengünstiger –, wenn die richtigen Leute sich darum gekümmert hätten, ihn vor diesem Punkt umzusetzen.
Meine eigene Beobachtung ist, dass viele Engineering-Organisationen nachlässig mit guten Praktiken und/oder Tooling umgegangen sind, und KI als das heiße neue Ding füllt genau dort die Lücken. So ähnlich wie die Produktivität eines hungernden Arbeiters mit der eines Arbeiters auf Kokain zu vergleichen und nie darüber nachzudenken, was passiert, wenn man ihm drei Mahlzeiten am Tag gibt.
Ich würde gerne mehr solcher Beiträge sehen, die genau diskutieren, worin der Wert besteht, den sie durch KI sehen, und bewerten, ob KI überhaupt das richtige Werkzeug für diesen Mehrwert ist.