Una noche en Uzbekistán: por qué un solo dato fue tan influyente
One night in Uzbekistan: Why was this one data point so influential?
Un equipo de investigadores no pudo reproducir los hallazgos de un estudio y descubrió que todo se basaba en datos extraños de Uzbekistán. Este artículo analiza cómo un único punto de datos puede tener un impacto desproporcionado en los resultados de una investigación, y las lecciones sobre la importancia de la reproducibilidad y la verificación de datos.
No pudimos reproducir sus hallazgos y nos dimos cuenta de que todo estaba impulsado por datos extraños de Uzbekistán.
- Aurornis
Queríamos ver por qué Uzbekistán no destacaba, así que lo reproducimos en nuestro comentario (Fig. 1 de Datos Extendidos). Resulta que Uzbekistán ni siquiera era el mayor valor atípico, pero la versión que habían publicado tenía los ejes recortados de modo que no se podían ver los valores atípicos (ver recuadros rojos en nuestra versión). Esto parecía indicar un problema diferente, por eso lo documentamos en el comentario.
Recortar el gráfico para ocultar los valores atípicos es tan malo que no puedo decir si son incompetentes o malintencionados. No me sorprendería que esto fuera algo que un LLM produjera en manos de un operador que no presta demasiada atención, pero el artículo se publicó en el período anterior a que los LLM estuvieran en todas partes en la publicación.
- nneonneo
La Figura 1a (la subfigura más a la izquierda en la imagen principal del artículo) muestra los datos de Uzbekistán del conjunto de datos DOSEv1 (verde), DOSEv2 (rojo) y del Banco Mundial (negro). Los autores del estudio retractado usaron el conjunto de datos DOSEv2 para modelar los efectos del clima en la economía a nivel subnacional, en lugar de los análisis a nivel de país utilizados en trabajos anteriores. Sin embargo, parece que los datos de DOSEv2 eran simplemente malos para las 14 provincias de Uzbekistán (¡una caída del 90% del PIB para todas las provincias en 2020!).
La correlación típica entre el clima y la economía va a ser bastante ruidosa en todo el conjunto de datos, pero si tienes 14 puntos de datos adicionales que dicen que hay una caída catastrófica del PIB en un año, junto con algún efecto climático coincidente, eso va a sesgar el modelo fuertemente. En particular, también extrapolan las pérdidas hasta el año 2100, por lo que los efectos de tal sesgo se agravarán.
- MarkusQ
Necesitamos algo similar al año geofísico internacional, pero para la integridad de los datos. Hagamos de ello una prioridad interdisciplinaria para limpiar la casa y desenmascarar artículos que cuelgan de un hilo por valores atípicos incluidos o excluidos, muestras sesgadas y fraude descarado. Sería humillante, pero estaríamos en mucho mejor forma después.