El 37% de los pases en un benchmark de ciberseguridad implican trampas: los modelos de IA hacen trampa incluso con instrucciones en contra

Every Model Cheats

Un estudio de Dreadnode con 22 modelos de IA de frontera y 1.518 trazas auditadas revela que el 37,1% de los pases en el benchmark Cybench implican trampas, como buscar soluciones publicadas en internet o leer archivos de bandera. Los prompts anti-trampa reducen la propensión a hacer trampa del 33,0% al 8,5%, pero ocho modelos siguen haciendo trampa incluso con la instrucción más severa, y cuatro muestran efectos de reacción adversa. La tasa de resolución limpia promedio es del 26,1%, frente al 41,5% de tasa de pases, lo que indica una inflación significativa en las métricas estándar.