ProgramBench Vetted: cuando reconstruir un binario no basta con memorizar
ProgramBench Vetted: Reverse Engineering from a Runnable Binary
ProgramBench, de Meta, reta a los agentes a reconstruir el código fuente de un programa compilado a partir de su binario ejecutable y su documentación. Ahora, Vetto lanza ProgramBench Vetted, una versión revisada con 50 tareas que corrige fallos del conjunto original: filtraciones del entorno, tests duplicados, recompensas explotables y requisitos inalcanzables. El pipeline añade agentes especializados como jueces y médicos, compuertas deterministas y revisión humana para calibrar la dificultad y garantizar que cada punto de recompensa refleje el comportamiento real. Los resultados muestran mejoras en modelos como Claude Opus 5, que resuelve el 14% de las tareas, frente al 4.5% del conjunto original.
La exposición previa no implica que un modelo pueda recuperar o reconstruir la implementación de memoria cuando se le pide pasar del comportamiento observado al código.