Ephemeral Testing: как AI-агенты проверяют ваш код через одноразовые приложения

Автор предлагает Ephemeral Testing — метод проверки качества кода, при котором AI-агент строит поверх вашей библиотеки временное приложение и тестирует его. Если API чистый, инварианты стабильны, а ошибки информативны, агент быстро создаёт работающий код. Скрытое состояние, неожиданные значения по умолчанию или неполная документация приводят к ошибкам и патчам. Эти сбои — свидетельство о вашем коде, а не об агенте. Метод можно повторять с разными агентами и задачами.
The failures are evidence about your code, not about the agent.
- simonw
В последнее время я довольно часто использую этот подход для проектирования API, и он мне очень нравится.
Главная сложность при проектировании API в том, что единственный способ убедиться в правильности дизайна — построить на его основе кучу разных вещей. Но зачем вкладывать все эти усилия в API, который, как вам кажется, ещё не готов?
С появлением агентов для написания кода стоимость создания таких прототипов падает почти до нуля. Я могу опробовать предложенный дизайн API пятью разными способами, прежде чем зафиксирую его форму.
- bunderbunder
Этим летом у меня были хорошие результаты с похожей техникой.
Я проектировал DSL, чтобы упростить работу коллеги, и тестировал его, заставив агента для написания кода переписать некоторые из их ноутбуков с использованием черновика DSL. Вывод LLM оказался достаточно хорошим приближением «типичного» использования и выявил некоторые шероховатости, которые я не заметил, тестируя самостоятельно. Как его разработчик, я бы просто не додумался попробовать использовать его некоторыми из тех способов, которые применил сгенерированный LLM код.
- bakies
Вовсе не немыслимо. Занимаюсь этим уже несколько лет, обычно как опцию на тегах PR, но теперь, когда агенты пишут код, у меня это включено по умолчанию. У меня есть несколько файлов навыков о доступе с read-only аккаунтом и gitops через PR. Это отличная среда разработки для агентов.