Одна ночь в Узбекистане: почему одна точка данных оказалась такой влиятельной?
One night in Uzbekistan: Why was this one data point so influential?
Статья на blog А. Гельмана рассказывает о случае, когда исследователи не смогли воспроизвести результаты чужого исследования и обнаружили, что все выводы основывались на аномальных данных из Узбекистана. Автор разбирает, как один выброс может кардинально исказить статистические выводы, и предостерегает от слепого доверия к данным без проверки их происхождения. Это поучительная история о важности воспроизводимости и бдительности в статистическом анализе.
Мы не смогли воспроизвести их результаты и поняли, что всё было обусловлено странными данными из Узбекистана.
- Aurornis
> Мы хотели понять, почему Узбекистан не выделялся, поэтому воспроизвели это в нашем комментарии (Extended Data Fig. 1). Оказалось, что Узбекистан даже не был самым большим выбросом, но в опубликованной версии оси были обрезаны так, что выбросы не были видны (см. красные рамки в нашей версии). Это указывало на другую проблему, поэтому мы задокументировали её в комментарии.
Обрезка графика для скрытия выбросов настолько плоха, что я не могу сказать, некомпетентны они или злонамеренны. Я не удивлюсь, если это то, что могла бы сгенерировать LLM в руках оператора, не уделяющего достаточного внимания, но статья была опубликована в период до того, как LLM стали повсеместными в издательском деле.
- ktoyame
Интересно, сколько ещё статей содержат такие трудноуловимые ошибки. И насколько полезным мог бы быть ИИ для их обнаружения (даже ретроспективно).
- MarkusQ
Нам нужно что-то вроде Международного геофизического года, но для целостности данных. Сделать междисциплинарным приоритетом наведение порядка и выявление статей, которые держатся на волоске из-за включённых/исключённых выбросов, смещённых выборок и откровенного мошенничества. Это было бы унизительно, но после этого мы были бы в гораздо лучшей форме.