Trail of Bits нашла 21 регрессию в патчах, которые написали AI-агенты
AI agent fixed the bug, but what else did it change?
Trail of Bits выпустила два плагина для агентов: patching-bugs воспроизводит баг, пишет и проверяет фикс, а regression-hunt ищет, что этот фикс мог сломать. Проверка 130+ PR из инициативы Patch the Planet с OpenAI выявила 21 регрессию — 16 функциональных, одну по производительности и четыре в сборке и тестах. На наборе подтверждённых регрессий regression-hunt даёт на 25% меньше ложных срабатываний, чем обычный Codex, но платит за это осторожностью: часть реальных регрессий остаётся на грани доказанности.
Ни один фиксированный чек-лист не поймает все регрессии, поэтому мы собираем траектории агентов из сессий наших инженеров и используем задачи, на которых провалилась предыдущая версия, для бенчмарка следующей.