Octopus CTO, AI 시대의 엔지니어링 핵심 지표를 전면 재설계하다
Engineering Vitals in the Age of AI

Octopus CTO Andrew Best는 AI 도입으로 작업의 형태가 근본적으로 바뀌면서 기존 엔지니어링 지표를 재정비했다고 밝힌다. 배포 리드타임, PR 사이클, 장애 복구 시간 같은 딜리버리 지표와 함께, 변경 실패율 대신 고객에게 도달한 Sev 0-2 결함 건수를 직접 센다. AI로 변경량이 폭증하면 비율 지표는 문제를 가릴 수 있기 때문이다. PR 볼륨은 목표 없이 추세로만 관찰한다.
고객은 백분율을 경험하지 않는다. 고객은 결함을 경험한다.
- devmor
이런 가치 측정 방식들에 대해 제가 가진 문제 중 하나는 대안 도구에 대한 논의가 거의 없다는 점입니다.
저도 AI가 만들어내는 부가가치를 봅니다. 하지만 그 가치는 이미 존재할 수 있었고, 어쩌면 훨씬 더 안정적이고 더 저렴하게 존재할 수 있었을 거라고도 생각합니다. 지금에 이르기 전에 적합한 사람들이 그것을 구현하려고 신경을 썼더라면 말이죠.
제가 직접 관찰한 바로는, 많은 엔지니어링 조직이 좋은 관행이나 툴링을 소홀히 해왔고, AI라는 뜨거운 신상품이 그 빠진 부분을 메우고 있는 형국입니다. 마치 굶주린 노동자와 코카인을 한 노동자의 생산성을 측정하면서, 하루 세 끼를 먹이면 어떻게 되는지는 측정할 생각을 전혀 안 하는 것과 비슷하죠.
저는 이런 글들이 AI에서 보고 있는 가치가 정확히 무엇인지 논하고, AI가 정말 그 부가가치를 위한 올바른 도구인지 평가하는 내용을 더 많이 다뤄주길 바랍니다.