AI 에이전트가 버그는 고쳤지만, 다른 건 망가뜨리지 않았을까?
AI agent fixed the bug, but what else did it change?
Trail of Bits가 OpenAI와 함께 수백 건의 오픈소스 보안 패치를 만들며 확인한 결과, 병합된 130여 개 PR 중 21건에서 회귀가 발생했다. 이들은 패치 개발과 회귀 검사를 에이전트에 맡기는 patching-bugs와 regression-hunt 플러그인을 공개했다. regression-hunt는 실제 배포 환경에서 PoC로 검증하고 위협 모델을 참조해 회귀를 판정하며, 기존 Codex 에이전트보다 오탐을 25% 줄였다.
고정된 체크리스트만으로는 모든 회귀를 잡을 수 없기에, 우리는 엔지니어들의 패치 세션에서 에이전트 궤적을 수집하고, 이전 버전이 실패한 작업을 다음 버전의 벤치마크로 사용한다.