Trail of Bits confirma 21 regresiones en parches de IA que ya se fusionaron upstream
AI agent fixed the bug, but what else did it change?
Trail of Bits revisó los parches que sus ingenieros escribieron con agentes de IA en el marco de Patch the Planet, su iniciativa con OpenAI, y encontró 21 regresiones entre más de 130 PR fusionados. Para atajarlo publica dos plugins: patching-bugs, que reproduce el fallo y exige una prueba de tres brazos, y regression-hunt, que valida cada sospecha sobre un despliegue real. Este último genera un 25% menos de falsos positivos que un agente Codex genérico.
Ninguna lista de verificación fija detectará todas las regresiones, así que recopilamos las trayectorias de los agentes en las sesiones de parcheo de nuestros ingenieros y usamos las tareas que una versión anterior no superó para evaluar la siguiente.