Ephemeral Testing: как AI-агенты проверяют ваш код через одноразовые приложения

Ephemeral Testing: как AI-агенты проверяют ваш код через одноразовые приложения

Автор предлагает Ephemeral Testing — метод проверки качества кода, при котором AI-агент строит поверх вашей библиотеки временное приложение и тестирует его. Если API чистый, инварианты стабильны, а ошибки информативны, агент быстро создаёт работающий код. Скрытое состояние, неожиданные значения по умолчанию или неполная документация приводят к ошибкам и патчам. Эти сбои — свидетельство о вашем коде, а не об агенте. Метод можно повторять с разными агентами и задачами.

The failures are evidence about your code, not about the agent.
  1. simonw

    В последнее время я довольно часто использую этот подход для проектирования API, и он мне очень нравится.

    Главная сложность при проектировании API в том, что единственный способ убедиться в правильности дизайна — построить на его основе кучу разных вещей. Но зачем вкладывать все эти усилия в API, который, как вам кажется, ещё не готов?

    С появлением агентов для написания кода стоимость создания таких прототипов падает почти до нуля. Я могу опробовать предложенный дизайн API пятью разными способами, прежде чем зафиксирую его форму.

  2. bunderbunder

    Этим летом у меня были хорошие результаты с похожей техникой.

    Я проектировал DSL, чтобы упростить работу коллеги, и тестировал его, заставив агента для написания кода переписать некоторые из их ноутбуков с использованием черновика DSL. Вывод LLM оказался достаточно хорошим приближением «типичного» использования и выявил некоторые шероховатости, которые я не заметил, тестируя самостоятельно. Как его разработчик, я бы просто не додумался попробовать использовать его некоторыми из тех способов, которые применил сгенерированный LLM код.

  3. bakies

    Вовсе не немыслимо. Занимаюсь этим уже несколько лет, обычно как опцию на тегах PR, но теперь, когда агенты пишут код, у меня это включено по умолчанию. У меня есть несколько файлов навыков о доступе с read-only аккаунтом и gitops через PR. Это отличная среда разработки для агентов.

Ещё за этот день

2026-10-05