Über 30 % neuer arXiv-Papiere wirken KI-geschrieben
Over 30% of new ArXiv submissions now read as AI-written
Eine Analyse von 12.750 arXiv-Papieren zeigt, dass etwa ein Drittel der neuen Einreichungen maschinell geschrieben wirkt. Die Autoren kalibrierten ihren Detektor so, dass nur 0,4 % echter Vor-ChatGPT-Papiere als KI-geschrieben markiert werden. Die Ergebnisse variieren stark nach Fachgebiet: In der Informatik sind es 65 %, in der Mathematik nur 0,7 %. Die Autoren diskutieren offen die Grenzen ihrer Methode, etwa die geringe Kontrollstichprobengröße und die geringere Empfindlichkeit bei mathematischen Texten. Die tatsächliche Verbreitung könnte höher sein, da der Detektor nicht alle KI-Modelle erfasst.
Ein Mathematik-Papier, das mit starker Modellunterstützung verfasst wurde, kann niedrig bewertet werden, weil seine Prosa außerhalb der Verteilung liegt, auf der der Detektor trainiert wurde.