연구자들은 왜 자신의 논문이 틀렸다는 말을 듣기 싫어할까
Incentives in Academic Research
Charlie Munger의 말처럼 인센티브가 결과를 좌우한다. 저자는 학계가 논문 수와 명성에만 집중하면서 과학적 정직성과 호기심이 사라지고 있다고 비판한다. 한 저자는 자신의 논문 평가가 잘못됐다는 지적에도 철회를 거부했고, 한 PhD 학생은 평가 오류를 지적받고도 후속 조치를 하지 않았다. 저자는 이러한 환경이 다음 세대 연구자들에게 잘못된 과학적 행동을 학습시킨다고 우려한다.
논문을 게재하고 승진과 명성을 얻은 뒤에는, 결과가 틀렸고 틀린 것으로 알려져 있으며 과학의 발전에 해를 끼칠 수 있다는 사실이 중요하지 않다. 그것은 당신의 문제가 아니다. 다른 사람의 문제다.
HN 토론
32- t0mpr1c3
문제는 새로운 게 아니고, 또 주니어 연구자들에게만 국한된 것도 아니라는 점을 덧붙이고 싶습니다.
약 20년 전 제 첫 교수직 자리에서, 저는 어느 선배(맥아더 펠로우십 수상자) 동료가 개척한 연구 흐름을 따라갔습니다. 3년이 지나고 몇 가지 부정적 결과를 얻은 뒤, 저는 여러 유명 논문들이 p-hacking된 것이고 아마도 거짓 양성일 가능성이 크다는 의심이 들기 시작했습니다.
말할 것도 없이 극도로 의욕이 꺾였습니다. 저는 다른 분야로 전환했고, 얼마 지나지 않아 아예 학계를 떠났습니다.
나중에 아주 원로 과학자가 그들의 직업 윤리 경시에 대한 제 의심을 확인해 주었습니다.
- senshan
흠... 저자는 C. Munger의 인용구 “인센티브를 보여주면 결과를 보여주겠다”로 시작한 다음, 현재 학계 연구의 결과에 대한 불만을 표현합니다. 안타깝게도 저자는 다음으로 돌아오지 않습니다:
a) 현재 인센티브에 대한 분석; 그리고
b) 더 나은 결과를 위한 인센티브 변경 제안;
- smath
sohl dickstein이 몇 년 전에 쓴 훌륭한 블로그 글이 있습니다 [0]. 최적화하는 지표가 최대화하려는 대상의 대리물에 불과할 때 무슨 일이 일어나는지에 관한 글인데, 결국 일어나는 일은 “과적합”입니다. 원래 지표(우리가 직접 최적화할 수 없는)는 실제로 나빠지기 시작합니다.
저는 논문 출판과 인용이 바로 그런 대리 지표라고 생각합니다.
[0] https://sohl-dickstein.github.io/2022/11/06/strong-Goodhart....
- SubiculumCode
저자는 자신의 주장을 뒷받침할 실증적 증거를 전혀 제시하지 않고, 일화적 증거만 제공합니다. 저자의 주장은 사실일 수도 있고, 어떤 장소/부서/국가에서는 더 사실일 수도 있지만, 저는 우연히도 저자와 동의합니다... 아니면 이 문제에 대해 우려하고 있습니다.
또한 일화적이지만, 동료 심사자로서 저는 너무 자주 부실하거나, 부주의하거나, 심지어 아마도 사기일 논문을 접하게 되고, 이는 저를 좌절시킵니다. 왜냐하면 동료 심사는 비용이 들지 않는 게 아니기 때문입니다: 저자들은 과학자들에게 저자의 작업을 이해하는 데 귀중한 시간을 쓰라고 요청하고, 그것은 사회적 계약 아래에서만 작동합니다....즉 저자들은 최선을 다해 최고의 과학을 하려고 노력한 후에야 원고를 동료 심사를 위해 보낸다는 계약 말입니다.
이런 말을 하기 싫지만, 중국에 훌륭한 과학자들이 있다는 것을 알기 때문입니다. 그러나 제가 받아서 부실한 작업, 또는 원고와 가장 직접적으로 관련된 문헌을 인용하는 데 있어 의도적인 태만(흔히 그 문헌이 그들이 새로운 것인 양 내세우려는 것을 정확히 이미 했기 때문), 또는 아예 사실을 날조한 이유로 거절하는 원고 대부분은 중국 대학에서 온 원고였습니다. 물론 서양 저자들에게서도 발생하지만, 제가 말하는 것은 실재하고, 과학 제도로서 동료 심사에 점점 더 큰 부담이 되고 있습니다. 너무 심해서 많은 이들이 어느 정도 명성이 있는 알려진 연구실이 아닌 한 중국에서 온 원고의 심사자를 거부하겠다고 저에게 털어놓았습니다. 과학에는 출판된 논문 수나 지원받은 연구비 수로 동기 부여되는 것이 아니라, […] 문화가 있어야 합니다.
- bonoboTP
학계에 들어오는 모든 사람은 이런 환멸의 단계를 겪는다고 생각합니다. 지식의 성전처럼 그토록 숭배했던 것이 결국 다른 곳에서 보는 것과 같은 종류의 인간적 사업, 즉 사소한 싸움, 서로 대립하는 작은 파벌, 앙금, 등 긁어주기, 주고받기 등등을 포함한다는 것을 알게 됩니다.
이것을 받아들이고 나면, 다른 쪽에서 이것이 새로운 게 아니라는 것을 깨닫게 된다고 생각합니다. 이상화된 버전은 결코 존재하지 않았습니다. 새로운 것은 출판과 관련된 규모와 모든 양적 지표입니다.
> 학술 연구는 새로운 지평을 여는 것, 정직과 좋은 과학적 품위를 지키는 것, 불확실성과 오류, 실수를 명확하고 솔직하게 밝히는 것, 과학에 대한 우리의 공통된 이해를 개선하는 것, 그리고 그 모든 과정에서 새로운 세대가 이러한 목표와 원칙을 따르도록 훈련하는 것에 관한 것이었습니다.
이것은 순진한 이상주의입니다. 연구에는 노력이 들고 누군가는 비용을 지불해야 합니다. 때때로 이 누군가는 제한 없는 객관적 탐구만 후원하고 싶다고 믿음을 표명할 수도 있지만, 모든 사람에게는 편향이 있고 반복 게임에서는 연성 선호도 역시 이용당하게 됩니다. 다시 말해, “돈을 대는 자가 노래를 주문한다”는 효과가 항상 있습니다.
돈을 대는 자는 결과를 원합니다. 그는 후원한 프로젝트를 통해 명성을 원합니다. 그는 연구자가 방에 앉아 몇 년 동안 결과를 내지 못하기만을 원하지 않습니다. 그는 연구자가 획기적인 결과를 내기를 원합니다. 그것이 무엇인지는 그다지 중요하지 않고, 인상적이고 p를 개선하는 것이 중요합니다 […]