无法复现的研究竟源于Uzbekistan数据
One night in Uzbekistan: Why was this one data point so influential?
我们在尝试复现一项研究结果时遇到了困难，最终发现所有异常都源于来自Uzbekistan的奇怪数据。这一发现揭示了数据质量对研究结论的关键影响，也提醒我们在处理跨国数据时需格外谨慎。
我们无法复现他们的发现，并意识到这一切都是由来自Uzbekistan的奇怪数据驱动的。
HN 评论区
29- Aurornis
我们想知道为什么乌兹别克斯坦的数据没有凸显出来，于是我们在评论中复现了它（扩展数据图 1）。结果发现，乌兹别克斯坦甚至不是最大的异常值，而是他们发布的版本把坐标轴裁剪了，导致你根本看不到那些异常值（参见我们版本中的红框）。这似乎指向了另一个问题，所以我们把它记录在了评论里。
把图表裁剪掉以隐藏异常值，这种做法太恶劣了，我简直分不清他们是无能还是恶意。如果这是某个没太留神的操作员用 LLM 生成的产物，我也不会感到惊讶，但这篇论文发表的时候，LLM 还没在出版界遍地开花呢。
- MarkusQ
我们需要一个类似于“国际地球物理年”的东西，但专注于数据完整性。要把清理门户、揪出那些仅靠包含或排除异常值、偏差样本甚至 outright 欺诈而勉强维持的论文，列为跨学科的首要任务。这可能会让人羞愧难当，但之后我们的处境会好得多。
- nneonneo
图 1a（TFA 主图最左侧的子图）展示了来自 DOSEv1 数据集（绿色）、DOSEv2 数据集（红色）和世界银行（黑色）的乌兹别克斯坦数据。被撤稿研究的作者使用了 DOSEv2 数据集，以便在次国家层面而非以往工作中使用的国家层面来模拟气候对经济的影响。然而，看起来 DOSEv2 数据在乌兹别克斯坦所有 14 个省份上都很糟糕（2020 年所有省份的 GDP 暴跌了 90%！）。
天气与经济之间的典型相关性在整个数据集中本来就会相当嘈杂，但如果你有 14 个额外的数据点都指向某一年发生了灾难性的 GDP 崩盘，再加上一些巧合的天气效应，那就会严重偏置模型。值得注意的是，他们还把损失外推到了 2100 年，因此这种偏置的影响将会不断累积。