AI時代のエンジニアリング指標は「変更失敗率」を捨てるべきだ
Engineering Vitals in the Age of AI

OctopusのCTOが、AI時代に向けてエンジニアリング指標を刷新した理由を語る。AI導入で変更量が爆発的に増えるなか、変更失敗率は分母が膨らむだけで顧客への影響を隠してしまう。代わりに毎月顧客に届いたSev 0-2欠陥の実数を数え、PR量は目標を設けないトレンドとして追う。速度と品質を対で測る考え方も示す。
顧客が経験するのはパーセンテージではない。顧客が経験するのは欠陥そのものだ。
- devmor
これらの価値測定についていくつか問題を感じるのは、代替ツールについてほとんど語られていない点だ。
AIによる付加価値は認めるが、その価値は以前から存在し得たし、もしかするとずっと信頼性が高く低コストで実現できたかもしれない——もし然るべき人々がその気になって、これまでに実装しようとしていたなら。
私自身の観察では、多くのエンジニアリング組織が優れた実践やツールを怠っており、AIが新しい流行としてその欠けていた部分を埋めている。まるで、飢えた労働者とコカインをやった労働者の生産性を比較し、1日3食与えたらどうなるかを測ろうともしないようなものだ。
こうした記事には、AIから得ている価値が具体的に何なのかを論じ、その付加価値に対してAIが本当に適切なツールなのかを評価するものがもっと見たい。