Un benchmark ganador del premio de 25.000 dólares de DeepMind en Kaggle genera acusaciones de 'IA basura'
Blatant AI slop just won a 25k USD DeepMind Kaggle Grand Prize
El hackathon 'Measuring Progress Toward AGI' de Google DeepMind en Kaggle, con premios de 25.000 dólares, ha sido criticado por la elección de su ganador. Thomas Werkmeister, participante, acusa al ganador del gran premio, MEDLEY-BENCH, de contener graves inconsistencias lógicas, gráficos mal interpretados y afirmaciones sin fundamento. A pesar de que las reglas enfatizaban calidad y novedad, el ganador habría usado deficientemente el SDK de Kaggle, mostrando una sola puntuación y sin proporcionar información sobre el proceso de recopilación de datos. Werkmeister señala que las gráficas presentadas muestran tendencias similares, contradiciendo las afirmaciones del equipo ganador, y que su hallazgo principal se basa en una lectura errónea de los datos.
No pueden leer su propio gráfico y hacen una afirmación absurdamente errónea, luego presentan una conjetura salvaje como 'idea central' basada en esa lectura errónea, y después contradicen su idea central en su 'hallazgo universal' un par de párrafos más adelante.