Octopus отказалась измерять успех AI по количеству сгенерированного кода

Engineering Vitals in the Age of AI

Octopus отказалась измерять успех AI по количеству сгенерированного кода

CTO компании Octopus Эндрю Бест объясняет, почему метрики вроде числа сгенерированных строк и потреблённых токенов бесполезны, а «ценность» слишком размыта для измерения. Вместо этого он перезапустил инженерные «витальные показатели»: время от коммита до продакшена, задержки ревью, время восстановления, размер батчей, число критических дефектов, дошедших до клиентов, и NPS разработчиков. Объём пул-реквестов остаётся трендом без цели — по закону Гудхарта.

Клиенты не переживают процент. Они переживают дефект.
  1. devmor

    Одна проблема, которая у меня есть с некоторыми из этих измерений ценности, заключается в том, что почти не говорят об альтернативных инструментах.

    Я вижу добавленную ценность от AI, но также считаю, что эта ценность могла бы уже быть — и, возможно, гораздо надёжнее и дешевле, — если бы нужные люди позаботились внедрить её раньше.

    Моё собственное наблюдение: многие инженерные организации пренебрегали хорошими практиками и/или инструментами, и AI, будучи горячей новинкой, заполняет то, чего не хватало. Вроде как измерять продуктивность голодающего работника против работника под кокаином и при этом даже не задумываться измерить, что произойдёт, если давать ему 3 раза в день поесть.

    Мне хотелось бы видеть больше таких постов, где подробно обсуждается, в чём именно заключается ценность, которую они видят от AI, и оценивается, является ли AI вообще правильным инструментом для этой добавленной ценности.

Ещё за этот день

2026-11-18