미루기 연구의 충격적 진실: 영향력 있는 논문의 데이터 조작 증거
Evidence of Fraud in an Influential Study About Procrastination
2002년 《Psychological Science》에 실린 Ariely와 Wertenbroch의 유명한 연구 'Procrastination, Deadlines, and Performance'는 마감 기한을 균등하게 분산하면 성과가 향상된다는 결과를 발표했지만, 최근 재현 실패가 보고되었습니다. 이에 Data Colada는 원본 데이터를 분석하여 연구 1과 2의 데이터가 조작되었음을 시사하는 증거를 발견했습니다. 이 글에서는 연구 2에 초점을 맞춰 네 가지 위험 신호를 제시합니다: 비현실적으로 큰 효과 크기, 한 조건에서만 발견된 18쌍의 중복 관측값, 상관관계가 전혀 없는 설문 응답, 그리고 데이터 파일의 수정 흔적입니다. 저자 중 한 명인 Dan Ariely는 재현 연구자들에게 데이터 제공을 거부했으며, 현재 논문의 철회 절차가 진행 중입니다.
우리는 연구 1과 2의 데이터가 조작되었다고 결론 내립니다. 이 판단은 전적으로 우리가 제시한 분석에 근거하며, 독자들도 증거를 검토하고 스스로 결론을 내릴 수 있습니다.
HN 토론
230- Aurornis
Dan Ariely는 오랫동안 논란과 조작된 데이터로 유명한 연구들로 얼룩진 이력이 있습니다. 그는 인기 있는 책 3권을 쓰고 많은 명성을 얻었지만, 이후 다른 사람들이 그의 연구에서 문제점을 발견하기 시작했습니다.
https://en.wikipedia.org/wiki/Dan_Ariely
그의 연구 문제가 아직도 밝혀지고 있다는 것이 놀랍습니다. 또한 듀크 대학이 그의 연구에서 많은 문제가 확인된 후에도 여전히 그와 관계를 유지하고 있다는 것도 놀랍습니다.
- bawolff
이런 종류의 사기가 너무 쉽게 가능하다는 것이 확실히 문제인 것 같습니다.
이 연구는 재현하기가 매우 쉬워 보이는데(특별한 장비 없이 사람들에게 교정을 요청하기만 하면 됨), 그런데도 지금까지 아무도 재현하지 않았습니다. 인센티브를 바꿔서 사람들이 재현을 시도하게 할 방법이 있을까요? 학부생들에게 무작위 연구 논문을 재현하도록 배정하는 건 어떨까요?
- herewulf
저는 미루기에 대한 농담 댓글을 찾으러 왔는데 없네요. 하지만 누군가는 결국 언젠가 그걸 할 것 같네요.
- freediddy
어떤 논문도 독립적인 그룹에 의해 재현되기 전에는 인용되어서는 안 됩니다. 과학의 재현성 위기는 실제이며, 곧 아무도 아무것도 믿지 않게 될 것입니다.
- sabot90260
그럴 줄 알았어요. 미루기에 대한 연구조차 문제로 가득 차 있네요. 세부 내용 읽는 건 내일로 미뤄야겠어요.
- mulanroo
이 글을 읽기 전에 몰랐던 한 가지: 비정상적으로 큰 효과 크기 자체가 위험 신호가 될 수 있다는 점입니다. 모든 통계를 이해하지 못해도 결과가 너무 좋아서 믿기 어려울 때는 알아차릴 수 있습니다.
- keyle
저자들이 문제를 인정하고 아무것도 하지 않는 것에 대해 기쁘게 생각합니다 :-)
- hnacct2001
이 기사와 재현 연구 자체(마감 기한의 긍정적 효과에 대한 일반적인 이해를 복잡하게 만드는 일부 연구를 인용함)를 훑어본 결과, 마감 기한에 대한 건설적인 대안이 무엇인지, 그리고/또는 마감 기한을 어떻게 유지하거나 결정해야 하는지 궁금해집니다.