Harness Engineering: как удержать AI-код от тихой деградации
Практика harness engineering окружает AI-генерацию кода детерминированными инструментами, агентными проверками и периодической «сборкой мусора», чтобы код оставался корректным и согласованным. Концепция из статьи Биргитты Бёкелер на martinfowler.com адаптирована в плагине ai-literacy-superpowers: три компонента (контекстная инженерия, архитектурные ограничения, сборка мусора) реализованы через три цикла проверки — на редактировании, на PR и по расписанию. Ключевая идея — «живой харнесс»: самодокументируемый HARNESS.md, который обновляется автоматически, и принцип прогрессивного ужесточения, когда ограничения со временем переводятся с агентных проверок на детерминированные скрипты. Плагин также добавляет самообучаемость: журнал ошибок и регрессионный анализ улучшают харнесс со временем.
AI-ассистенты производят правдоподобный код, но без ограничений он дрейфует: забывает конвенции, повторяет ошибки и медленно разрушает внутреннюю согласованность кодовой базы — код продолжает компилироваться и проходить тесты, а деградация остаётся незаметной.
- ricardobeat
Термин "harness engineering" происходит не из статьи Биргитты Бёкелер на martinfowler.com. Впервые его использовал Митчел Хашимото за несколько месяцев до этого в своём блог-посте "My AI adoption journey" [1], и через неделю его сразу подхватила OpenAI [2]. Также стоит отметить, что этот текст не только полностью сгенерирован ИИ, но и предназначен для чтения другими агентами, а не нами, людьми.
- iTokio
Увлекательно наблюдать за появлением новой технологии и видеть, как люди пытаются осмыслить её на ходу. Лично я считаю, что многие слова, используемые вокруг ИИ — harness, SKILLS, агенты, RAG — это выдуманные слова или почти выдуманные, слова, не имеющие глубокой семантики, даже если люди пытаются, часто задним числом, придать им смысл. Это просто модные слова, достаточно отличающиеся, чтобы люди любили использовать их для заявления о новом знании или для маркетинга продукта. Но мы могли бы использовать "инструменты ИИ" вместо "harness" в абстрактном смысле, и было бы лучше использовать более точные термины для более конкретных случаев: цикл агента, CLI, IDE... Это была забавная игра в то время, когда статьи конкурировали за внимание, но теперь, когда это стало проверенной технологией, я надеюсь, мы сможем найти более точные и значимые слова.
- gardnr
Вот оригинальная статья, на которой основана эта: https://martinfowler.com/articles/harness-engineering.html
А вот оригинальный автор в подкасте, где он обсуждает это: https://open.spotify.com/episode/4FxEdjXldNhoh67KYVmbDu
- davedx
Эта часть кажется релевантной — они явно указывают разницу между своим документом HARNESS.md и AGENTS.md. Это на самом деле интересно: https://habitat-thinking.github.io/ai-literacy-superpowers/p...
- lacoolj
Не говорю, что это сгенерировано ИИ, но это очень плотный текст, и он не читается так, чтобы я мог легко извлечь из него информацию.