Eine Nacht in Usbekistan: Warum war dieser eine Datenpunkt so einflussreich?
One night in Uzbekistan: Why was this one data point so influential?
In einem neuen Beitrag auf dem Blog von Andrew Gelman wird untersucht, wie ein einzelner, ungewöhnlicher Datenpunkt aus Usbekistan die Ergebnisse einer Studie drastisch beeinflussen kann. Die Autoren konnten die ursprünglichen Befunde nicht reproduzieren und stellten fest, dass alles auf seltsame Daten aus Usbekistan zurückzuführen war. Der Beitrag beleuchtet die Fragilität statistischer Analysen und die Bedeutung von Robustheitsprüfungen.
Wir konnten ihre Ergebnisse nicht reproduzieren und stellten fest, dass alles auf seltsame Daten aus Usbekistan zurückzuführen war.
- t1234s
Uzbeksiche Schwachköpfe
- Aurornis
> Wir wollten wissen, warum Usbekistan nicht auffiel, und haben es in unserem Kommentar reproduziert (Extended Data Fig. 1). Es stellte sich heraus, dass Usbekistan nicht einmal der größte Ausreißer war, sondern dass die veröffentlichte Version die Achsen so beschnitten hatte, dass man die Ausreißer nicht sehen konnte (siehe rote Kästchen in unserer Version). Das deutete auf ein anderes Problem hin, weshalb wir es im Kommentar dokumentiert haben.
Das Beschneiden des Diagramms, um die Ausreißer zu verbergen, ist so schlecht, dass ich nicht sagen kann, ob sie inkompetent oder bösartig sind. Ich wäre nicht überrascht, wenn so etwas von einem LLM in den Händen eines Betreibers erzeugt würde, der nicht genug aufpasst, aber das Papier wurde in einer Zeit veröffentlicht, bevor LLMs überall im Verlagswesen waren.
- nneonneo
Abbildung 1a (die linke Teilabbildung im Leitbild des Artikels) zeigt die Daten für Usbekistan aus dem DOSEv1-Datensatz (grün), DOSEv2-Datensatz (rot) und der Weltbank (schwarz). Die Autoren der zurückgezogenen Studie verwendeten den DOSEv2-Datensatz, um Klimaeffekte auf die Wirtschaft auf subnationaler Ebene zu modellieren, im Gegensatz zu den Länderebenen-Analysen früherer Arbeiten. Es sieht jedoch so aus, als wären die DOSEv2-Daten für alle 14 Provinzen Usbekistans einfach schlecht gewesen (ein 90%iger BIP-Rückgang für alle Provinzen im Jahr 2020!).
Die typische Korrelation zwischen Wetter und Wirtschaft wird über den Datensatz hinweg ziemlich verrauscht sein, aber wenn man 14 zusätzliche Datenpunkte hat, die alle einen katastrophalen BIP-Crash in einem Jahr zusammen mit einem zufälligen Wettereffekt anzeigen, wird das das Modell stark verzerren. Bemerkenswert ist, dass sie die Verluste auch bis ins Jahr 2100 fortschreiben, sodass die Auswirkungen einer solchen Verzerrung sich verstärken.