ProgramBench Vetted: агент восстанавливает программу по бинарнику — 50 новых задач

ProgramBench Vetted: Reverse Engineering from a Runnable Binary

Команда Vetto выпустила ProgramBench Vetted — набор из 50 задач, в которых агент должен восстановить исходный код программы, имея только исполняемый бинарник и документацию. В отличие от оригинального ProgramBench от Meta, новый бенчмарк включает улучшенный процесс создания задач: проверки на утечки, взломоустойчивость и справедливость, а также калибровку сложности. Результаты показывают, что даже лучшие модели решают лишь 14% задач полностью, что подчеркивает сложность долгосрочного планирования и восстановления кода.