Программист предупреждает: бездумное доверие агентам ведёт к техническому долгу
Resisting Cognitive Surrender
Автор размышляет о «когнитивной сдаче» — некритичном принятии вывода агентов без размышлений. Такой подход быстр и соблазнителен, но ведёт к субоптимальным решениям, росту сложности и потере понимания системы. Он предлагает осознанно выбирать, где делегировать, а где удерживать контроль, вводит понятие «vibe limit» и советует следить за автоматизационной предвзятостью, например, когда вы бездумно нажимаете «продолжить».
В конечном счёте именно я несу ответственность за то, что создаю, а не агенты. Отказ от субъектности и отказ думать фактически делают меня ответственным без сколько-нибудь осмысленного владения.
- tra3
Отличный пост. Мне особенно нравится идея с четырёхколоночным просмотром PR. Я построил нечто похожее для ревью спецификаций speckit. Каркас, гарантирующий, что код действительно работает, тоже имеет смысл.
Но меня беспокоит одна вещь — всё это заставляет нас потреблять то, что производят LLM. Я учился и усваивал, как всё работает, строя системы. По крайней мере, в рамках ограничений тех абстракций, которые я использовал. Это наводит меня на мысли о TikTok и shorts. Все просто смотрят. Может, это несправедливо. Может, абстракция теперь изменилась с «os/gui/event loop» на «llm», а остальное — просто случайная сложность.
- gus_massa
>> Более серьёзная ирония в том, что автоматическая система управления была внедрена, потому что она справляется с задачей лучше оператора, но оператора просят следить за тем, чтобы она работала эффективно.
Автоматическое управление хорошо для стандартных случаев и ожидаемых ошибок. В странных случаях пока что люди лучше их обнаруживают и нажимают большую красную кнопку.
- ashishmax31
Иногда я задаюсь вопросом, как бы отреагировали все столяры или музыкальные продюсеры в мире, если бы завтра появилась волшебная коробка, в которую они печатают/диктуют, что хотят, и — вуаля — выходит стол/композиция. Неужели музыкальные продюсеры и столяры всего мира просто «примут» этого нового волшебного джинна? Надеюсь, что нет.
И всё же вот мы, инженеры-программисты... готовые с безрассудной лёгкостью сдать своё ремесло простым «промптам».
- lioeters
«Ага, выглядит нормально!» — сказал человек, ежедневно просматривающий тысячи строк сгенерированного кода.
Это стало обычным явлением, и я видел, как это разрушало крупные проекты, пока никто уже не понимал кодовую базу, полную многословного бессмысленного кода и комментариев. Дальнейшая разработка проекта без ИИ становится невозможной. Контрибьюторы, которые по каким-либо причинам не используют ИИ, все уходят, потому что никому не нравится работать с бездумными роботами (и людьми) в качестве коллег. Это унижает и обесценивает их труд и человеческое достоинство. Они не «остаются позади», они оставляют позади безумие толпы.
> ..возможность неконтролируемой динамики: как только пересечён критический порог, небольшое увеличение adoption может вызвать быстрые сдвиги на уровне популяции в сторону *устойчивой зависимости, с резкой потерей когнитивной компетенции*.
Мы все видим, как это происходит. По мере проникновения этой технологии в общество задача поддержания контроля, связности и качества станет ещё больше и ещё серьёзнее — например, ИИ в здравоохранении, военном деле, управлении и государственном администрировании.
- hypfer
Самая сложная часть LLM и агентов, как ни странно, — это люди.
Конкретно люди и их дисфункции. Их хрупкость. Их эго, привязанное к вещам.
Это отличный пост/размышление на тему использования LLM в одиночку.
Единственный пробел, который я вижу, — это предположение, что человек работает над чем-то один, а не в команде. Хотя, возможно, это тема для отдельного эссе.
Edit: Оказывается, в сноске 3 это уже упоминается. Отлично. Хороший пост.