KI-Referee-Berichte bedrohen die Peer Review – und keiner merkt es
Can Peer Review Survive AI-Generated Text? [pdf]
Große Sprachmodelle schreiben inzwischen Papers und Gutachten in der Ökonomie. Caldara und Fernández-Villaverde zeigen mit einem Experiment an 25 echten Referee-Berichten: Werden diese von einer KI verfasst, stufen Detektoren sie als fast vollständig KI-generiert ein – während reines Korrekturlesen oder Sprachlektorat unauffällig bleibt. Ihr Plädoyer: KI-Detektoren als Standardwerkzeug, markierte Papiere strenger prüfen und KI-generierte Gutachten wie Plagiate behandeln. Sonst kollabiere das Peer-Review-System.
Das eigentliche Problem ist nicht, dass die Papers und Berichte von KI generiert wurden; es ist, dass niemand das Denken dahinter übernommen hat – und das war sichtbar.
- marginalia_nu
Um fair zu sein: Das Peer-Review-Modell ist lange vor KI-generiertem Text zerfallen, vor allem wegen der ausbeuterischen Natur akademischer Zeitschriften, die zu Anreizstrukturen führt, die nicht mit der Produktion guter Wissenschaft vereinbar sind.
Gutachter werden nicht bezahlt und haben null Anreiz, gute Arbeit zu leisten. Man kann in vielen Fällen einfach ein Paper immer wieder bei verschiedenen Zeitschriften einreichen, bis es auf einen Gutachter trifft, der es nicht für nötig hält, es zu lesen, woraufhin es durchgewunken wird. Das Ergebnis ist, dass immer wieder unglaublich schlampige und allzu oft geradezu betrügerische Wissenschaft durch das Peer Review gekommen ist.
- patrickmay
Zusammenfassung für diejenigen, die TFA nicht lesen wollen:
"Große Sprachmodelle schreiben inzwischen Paper und Gutachten in der Ökonomie. Das Fach muss Best Practices für den Umgang mit KI-generiertem Text im Publikationsprozess entwickeln. Andernfalls droht dem Peer Review der ernsthafte Kollaps. Wir schlagen vor, dass KI-Detektoren zum Standardwerkzeug des Berufsstands werden sollten. Unser Experiment zeigt, dass sie von KI verfasste Gutachten erkennen, nicht aber Berichte, die KI lediglich Korrektur gelesen oder bei der Bearbeitung geholfen hat.
Mit Hilfe eines einfachen Modells argumentieren wir, dass ein als KI-generiert gekennzeichnetes Paper ein genaueres Lesen auslösen sollte und beim ersten Fehler abgelehnt werden kann, und dass ein KI-generiertes Gutachten nichts hinzufügt, was Herausgeber nicht selbst durch Ausführen des Prompts erhalten könnten. Solche Gutachten sind inakzeptabel: Sie schaden Autoren und Zeitschriften und sollten wie Plagiate behandelt werden. Individuelle Zurückhaltung hat bereits ihre Grenzen gezeigt, und der Berufsstand muss Normen entwickeln, um dieses Kollektivgutproblem zu lösen. Wir schließen mit einem praktischen Leitfaden für Autoren, Gutachter und Herausgeber."
- FabCH
Ich bin gelegentlicher Gutachter.
Peer Review stirbt seit langem.
IMHO war die Lösung vor KI einfach, und sie ist mit KI einfach:
Doppelblindes Review, aber nach dem Einreichungsprozess werden sowohl der Artikel als auch die Gutachten mit vollständiger Namensnennung veröffentlicht.
- astro1234
Ich werde eine Meinung äußern, die von dieser Gruppe historisch überwiegend abgelehnt wurde:
Peer Review wird in etwa 2 Jahren keine Rolle mehr spielen, und es wird sich albern anfühlen, dass wir uns jemals diese Fragen gestellt haben.
Obwohl immer wieder bewiesen wurde, dass Leistungstrends unglaublich stabil sind und wenn überhaupt leicht beschleunigen, dass Pretraining-Scaling-Gesetze und ihre Analoga für Post-Training zuverlässig genug sind, dass dies mathematisch unstrittig ist, ist es ebenso sicher, dass diese offensichtlich zutreffenden Projektionen so unglaublich sind, dass die Leute es immer noch nicht zu akzeptieren scheinen. Dieser Satz war wahr und hätte zu jedem Zeitpunkt in den letzten 4-5 Jahren gesagt werden können (und wurde es, viele Male).
Das AI-2027-Szenario ist, obwohl es beim Posten urkomisch ist, alarmierend nicht so weit von unserem heutigen Stand entfernt. Wie Dwarkesh aus seinen Gesprächen mit Anthropic-Forschern und denen anderer Labore berichtet, sind wir auf Kurs, RSI irgendwann 2027 zu lösen (wiederum eine relativ einfache Sache vorherzusagen, wenn man ein wenig über Leistungstrends und die Messung von Modellleistung weiß).
Die Welt wird nicht wie ein sterbender Stern implodieren, und ich erwarte, dass die Erfahrung mehr oder weniger das sein wird, was wir heute durchmachen, obwohl einige Fähigkeiten eine viel höhere Verbesserungsrate erleben werden, und da es unvermeidbare Engpässe gibt, die KI niemals umgehen kann, und einige, deren Überwindung Jahre dauern wird. Aber „oh nein, wir haben keine Menschen für das Peer Review“ […]
- imeanwhatdoikno
Ich bin nicht in der Wissenschaft, daher mag das Folgende naiv sein, aber es ist nicht plausibel, dass wir zu Zeiten vor LLM-Schreiben und LLM-Review von Papers zurückkehren. Die Menge an LLM-Output wird auch kaum jemals abnehmen (und soweit ich verstehe, überforderte die Anzahl der geschriebenen Papers schon vor LLM-Zeiten das System). Also:
1. Papers könnten selbst im Web veröffentlicht werden (Arxiv oder Github oder wo auch immer).
2a. Papers könnten primär über informelle Kanäle angekündigt/beworben werden (X und andere soziale Medien, Mundpropaganda usw.)
2b. Zusätzlich könnte es formelle periodische Ankündigungen von akademischen Institutionen oder Industrieunternehmen geben, denen die Autoren angehören. Z.B. könnte eine Universität eine Liste der Top 10 (für Ihren bevorzugten Wert von 10) Papers aus jeder Abteilung veröffentlichen, ausgewählt von dieser Abteilung. Die Aufnahme eines Papers in diese „Top 10“-Listen würde nicht unbedingt bedeuten, dass das Paper in irgendeiner Weise peer-reviewed wurde. Es würde nur signalisieren, dass dieses Paper einen Blick wert sein könnte.
3. Der Zweck von Zeitschriften/Herausgebern könnte sich von der Begutachtung/Veröffentlichung von Papers hin zur Aggregation all dieser informellen Ankündigungen sowie all der „Top 10“-Listen verschieben, um die interessantesten/vielversprechendsten neuen Papers in den jeweiligen Fachgebieten mit ihren URLs zu identifizieren. Dann wäre es an den Mitgliedern der Community, die an diesen Themen interessiert sind, die betreffenden Papers anzuschauen oder nicht.