La saturación de los benchmarks de IA: un estudio revela que casi la mitad ya no distinguen modelos

When AI Benchmarks Plateau: A Systematic Study of Benchmark Saturation

Un estudio sistemático analiza la saturación de benchmarks en 60 evaluaciones de modelos de lenguaje, identificando que casi la mitad ya no permiten diferenciar entre modelos. La tasa de saturación aumenta con la antigüedad del benchmark, y la curación experta, no los datos públicos de prueba, es clave para la resiliencia. Los hallazgos sugieren que decisiones de diseño pueden prolongar la vida útil de los benchmarks y fomentar métodos de evaluación más duraderos.