Die Anreize in der akademischen Forschung sind falsch
Incentives in Academic Research
Charlie Munger sagte: „Zeig mir den Anreiz, und ich zeige dir das Ergebnis.“ In der akademischen Forschung haben sich die Ergebnisse weit von ihrem eigentlichen Ziel entfernt – dem Fortschritt der Wissenschaft und der Ausbildung der nächsten Generation. Der Autor beschreibt Fälle, in denen Forscher Fehler in ihren Arbeiten kennen, aber nicht korrigieren, und PhD-Studierende zunehmend Desinteresse an Korrektheit und wissenschaftlicher Redlichkeit zeigen. Die Ursache sieht er in falschen Anreizen, die Fehlverhalten belohnen.
Die Anreize sind falsch. Meiner Meinung nach geht es nicht nur um die Arbeiten – meine oder die anderer. Es geht um wissenschaftliche Integrität, um Ehrlichkeit untereinander, es geht darum, sich um die Ergebnisse zu kümmern, um den Fortschritt unseres gemeinsamen wissenschaftlichen Verständnisses durch die Suche nach Wahrheit und Korrektheit.
- t0mpr1c3
Ich würde hinzufügen, dass das Problem nicht neu ist und nicht auf Nachwuchswissenschaftler beschränkt ist.
In meiner ersten Professur vor etwa 20 Jahren verfolgte ich eine Forschungsrichtung, die ein hochrangiger (mit einem MacArthur-Stipendium ausgezeichneter) Kollege begründet hatte. Nach drei Jahren und einigen negativen Ergebnissen kam ich zu dem Verdacht, dass mehrere vielbeachtete Publikationen p-hacked und wahrscheinlich falsch-positive Ergebnisse waren.
Das war, gelinde gesagt, extrem demotivierend. Ich wechselte in ein anderes Feld und verließ kurz darauf die akademische Welt ganz.
Ein sehr hochrangiger Wissenschaftler bestätigte später meine Vermutungen über deren Missachtung professioneller Ethik.
- senshan
Hmm... Der Autor beginnt mit C. Mungers Zitat „Zeig mir den Anreiz und ich zeige dir das Ergebnis“, und fährt dann fort, seine Unzufriedenheit mit dem aktuellen Ergebnis der akademischen Forschung auszudrücken. Bedauerlicherweise kommt der Autor nie zurück mit:
a) einer Analyse der aktuellen Anreize; und
b) einem Vorschlag, diese für ein besseres Ergebnis zu ändern;
- smath
Es gibt einen großartigen Blogbeitrag [0], den sohl dickstein vor ein paar Jahren geschrieben hat, darüber, was passiert, wenn die Metrik, die optimiert wird, nur ein Stellvertreter für das ist, was man maximieren möchte – was schließlich passiert, ist „Overfitting“. Die ursprüngliche Metrik (die wir nicht direkt optimieren können) beginnt tatsächlich schlechter zu werden.
Ich glaube, das Publizieren von Artikeln und Zitationen sind diese Stellvertreter-Metriken.
[0] https://sohl-dickstein.github.io/2022/11/06/strong-Goodhart....
- SubiculumCode
Der Autor liefert keine empirischen Belege für seine Behauptungen, sondern nur anekdotische Evidenz. Seine Behauptung könnte wahr sein, könnte an manchen Orten/Abteilungen/Ländern wahrer sein als an anderen, aber ich stimme dem Autor tatsächlich zu ... oder ich bin besorgt über das Problem.
Ebenfalls anekdotisch: Als Peer-Reviewer stoße ich zu oft auf schlampige, nachlässige oder sogar wahrscheinlich betrügerische Arbeiten, und das frustriert mich, weil Peer Review nicht kostenlos ist: Autoren bitten Wissenschaftler, ihre kostbare Zeit aufzuwenden, um die Arbeit des Autors zu verstehen, und das funktioniert nur unter einem Gesellschaftsvertrag ... dass Autoren Manuskripte erst dann zum Peer Review einreichen, nachdem sie ihr Bestes versucht haben, ihre beste Wissenschaft zu betreiben.
Ich hasse es, das zu sagen, weil ich weiß, dass China großartige Wissenschaftler hat, aber die meisten Manuskripte, die ich erhalte und wegen schlampiger Arbeit, absichtlicher Nachlässigkeit beim Zitieren der direkt relevantesten Literatur (oft weil diese Literatur genau das getan hat, was sie als neu ausgeben wollen) oder geradezu erfundener Dinge ablehne, waren Manuskripte von chinesischen Universitäten. Ja, das passiert auch bei westlichen Autoren, aber was ich nenne, ist real und wird zunehmend zu einer großen Belastung für das Peer-Review als wissenschaftliche Institution. So sehr, dass mir viele anvertraut haben, dass sie es ablehnen werden, als Gutachter für ein Manuskript aus China zu fungieren, es sei denn, es stammt aus einem bekannten Labor von einigem Ansehen. In der Wissenschaft muss es eine Kultur geben, die nicht von der Anzahl veröffentlichter Artikel oder finanzierter Projekte angetrieben wird, sondern […]
- bonoboTP
Ich denke, jeder, der in die akademische Welt eintritt, durchläuft diese Phase der Desillusionierung. Dieses Ding, das man so sehr als Tempel des Wissens verehrte, entpuppt sich als dasselbe menschliche Geschäft, das man überall sonst sieht, mit kleinlichen Streitigkeiten, kleinen Cliquen, die sich gegenseitig bekämpfen, Groll, gegenseitigem Schulterklopfen, Quid pro quo usw.
Ich denke, wenn man sich damit abgefunden hat, kommt man auf der anderen Seite heraus und erkennt, dass das nichts Neues ist. Die idealisierte Version hat nie existiert. Neu ist der Maßstab und all die quantitativen Metriken bezüglich der Publikation.
> Akademische Forschung sollte darum gehen, Neuland zu betreten, Ehrlichkeit und gutes wissenschaftliches Verhalten zu wahren, klar und offen über Unsicherheiten, Fehler und Irrtümer zu sein und unser gemeinsames Verständnis der Wissenschaft zu verbessern, während man gleichzeitig die neue Generation darin ausbildet, diese Ziele und Prinzipien zu verfolgen.
Das ist ein naiver Idealismus. Forschung erfordert Anstrengung, und jemand muss bezahlen. Manchmal mag dieser Jemand Überzeugungen vertreten, dass er nur uneingeschränkte objektive Forschung sponsern möchte, aber jeder hat Vorurteile, und in einem wiederholten Spiel werden auch weiche Präferenzen ausgenutzt. Mit anderen Worten, es gibt immer den Effekt „Wer bezahlt, bestimmt die Musik“.
Derjenige, der bezahlt, will Ergebnisse. Er will Prestige durch das gesponserte Projekt. Er will nicht, dass der Forscher einfach in einem Raum sitzt und jahrelang keine Ergebnisse liefert. Er will, dass der Forscher bahnbrechende Ergebnisse hat. Was sie sind, ist weniger wichtig, als dass sie beeindruckend sind und p […]