Gauntlet: el pipeline multiagente que supera a los humanos al analizar papers de arquitectura de computadores
Can LLMs Perform Deep Technical Comprehension of Computer Architecture Papers
Un estudio de la Universidad de Wisconsin-Madison presenta Gauntlet, un pipeline open-source que analiza papers de arquitectura de computadores mediante cinco revisores con personajes expertos y una etapa de síntesis adversarial. En 20 papers de ISCA 2025 y HPCA 2026, los evaluadores prefirieron el análisis de Gauntlet sobre el de investigadores humanos en 15 de 20 comparaciones, con una ventaja significativa en rigor crítico. Una ablación automatizada de 98 papers muestra que la estructura multiagente supera al mismo modelo como agente único en el 96% de los casos, y que la ganancia proviene principalmente de la etapa de síntesis. Los autores publican todos los análisis, puntuaciones y la rúbrica como recurso comunitario.
En 15 de 20 comparaciones, los evaluadores prefirieron Gauntlet sobre el análisis humano; su ventaja es significativa en los totales por analista (Wilcoxon pareado, p < 0.01) y mayor en rigor crítico, desapareciendo solo en calibración.