Recrear Minecraft no es un benchmark

Recreating Minecraft Is Not a Benchmark

Tras el lanzamiento de GPT Astra, las redes se llenaron de demos virales como recrear Minecraft en un solo prompt o un pelícano en bicicleta. El autor las llama 'demo-benchmarks': pruebas visuales y finitas que los laboratorios pueden optimizar fácilmente para cada lanzamiento, midiendo preparación en lugar de capacidad real. Señala que incluso evaluaciones públicas estáticas, como las de Artificial Analysis, se filtran en los datos de entrenamiento, permitiendo que modelos más pequeños superen a otros mejores. Propone alternativas como pruebas rotativas o conjuntos privados, pero reconoce que las demos seguirán ganando en redes sociales por su impacto inmediato.