Octopus отказалась измерять успех AI по количеству сгенерированного кода
Engineering Vitals in the Age of AI

CTO компании Octopus Эндрю Бест объясняет, почему метрики вроде числа сгенерированных строк и потреблённых токенов бесполезны, а «ценность» слишком размыта для измерения. Вместо этого он перезапустил инженерные «витальные показатели»: время от коммита до продакшена, задержки ревью, время восстановления, размер батчей, число критических дефектов, дошедших до клиентов, и NPS разработчиков. Объём пул-реквестов остаётся трендом без цели — по закону Гудхарта.
Клиенты не переживают процент. Они переживают дефект.
- devmor
Одна проблема, которая у меня есть с некоторыми из этих измерений ценности, заключается в том, что почти не говорят об альтернативных инструментах.
Я вижу добавленную ценность от AI, но также считаю, что эта ценность могла бы уже быть — и, возможно, гораздо надёжнее и дешевле, — если бы нужные люди позаботились внедрить её раньше.
Моё собственное наблюдение: многие инженерные организации пренебрегали хорошими практиками и/или инструментами, и AI, будучи горячей новинкой, заполняет то, чего не хватало. Вроде как измерять продуктивность голодающего работника против работника под кокаином и при этом даже не задумываться измерить, что произойдёт, если давать ему 3 раза в день поесть.
Мне хотелось бы видеть больше таких постов, где подробно обсуждается, в чём именно заключается ценность, которую они видят от AI, и оценивается, является ли AI вообще правильным инструментом для этой добавленной ценности.