Warum KI-Sprache so schwer zu verstehen ist
Why is AI generated language so hard to understand?
Eine neue Studie zeigt: Neun führende Sprachmodelle verwenden häufiger schwer verarbeitbare Strukturen als menschliche Texte – mehr unbelebte Subjekte mit belebten Verben, mehr seltene Wortfolgen, längere syntaktische Abhängigkeiten. Die Forscher vermuten den Grund in der Optimierung: Während menschliche Sprache auf gelungene Kommunikation ausgerichtet ist, optimieren Modelle zunehmend auf Informationsdichte für Mathe, Code und Reasoning. Ein Fine-Tuning-Experiment mit Längenstrafe stützt diese These.
Während menschliche Sprache auf erfolgreiche Kommunikation optimiert ist, wird KI-generierter Text zunehmend auf andere Ziele wie Mathematik, Code und Reasoning optimiert, bei denen ein Druck zur Informationsdichte statt zu erfolgreicher Kommunikation besteht.
- dividefuel
Als technischer Redakteur glaube ich, dass die Standardantworten von KI darauf optimiert sind, was Menschen _denken_, dass gutes Schreiben sei, und nicht darauf, was tatsächlich gutes Schreiben ist.
Meine Vermutung ist, dass jahrelanges RLHF darauf optimiert wurde, wie gut der erste Eindruck der Bewerter davon war, wie gut etwas geschrieben ist. Es verwendet Listen! Es hat Überschriften! Es benutzt tolle Phrasen wie 'rauchende Pistole'! Es ist lang und informativ! Diese Dinge sind relativ schnell und einfach zu erkennen und als Präferenz auszuwählen.
Aber nichts davon deckt wirklich ab, ob die Antwort _für die Zielgruppe nützlich ist_. Wenn man nicht zur Zielgruppe gehört, kann es schwer sein zu sagen, was nützlich ist und was nicht.
- cryzinger
Eine Konstruktion, von der ich überrascht bin, dass das Paper sie nicht erwähnt (obwohl sie sicherlich genug Optionen zur Auswahl hatten ... und irgendwo muss man die Grenze ziehen :P), ist, dass LLMs transitive Verben gerne intransitiv verwenden[0], auf eine Weise, die ich in menschlichem Schreiben fast nie sehe. Im besten Fall macht es Sätze seltsam mehrdeutig, im schlimmsten Fall macht es sie grenzwertig unverständlich, und es ist besonders nervig in technischen Kontexten, wo präzise Sprache nicht verhandelbar sein sollte. Ja, ich kann eine fundierte Vermutung anstellen, was es sagen will, aber wenn deine sogenannte Dokumentation von Lesern/Nutzern verlangt, fundierte Vermutungen anzustellen, dann ist etwas furchtbar schiefgelaufen.
[0] Ein Beispiel wäre so etwas wie:
"Der Benutzer drückt einen Knopf, und das Formular übermittelt."
Es gibt gültige intransitive Verwendungen von "übermitteln", aber keine, die in diesem Kontext Sinn ergeben. In diesem Fall erfordert "übermitteln" entweder ein Objekt (wie "das Formular übermittelt Daten" – plus vielleicht ein indirektes Objekt, wie "das Formular übermittelt Daten an den Server") oder sollte durch "das Formular wird übermittelt" ersetzt werden, wenn man absolut kein Objekt angeben möchte.
- lukev
LLMs zeigen uns, dass vieles von dem, was wir als Kognition betrachten, tatsächlich Teil des ausgeklügelten Symbolsystems ist, das Sprache ist, und keine Eigenschaft des "Geistes" (ob biologisch oder künstlich instanziiert).
Von LLMs generierter Text ist schwer zu verstehen, weil er zwar perfekt gute Sprache ist, die gültigen kognitiven und informativen Mustern folgt, aber nicht die Absicht oder das mentale Modell eines anderen Geistes widerspiegelt.
- anigbrowl
Bedenke auch, dass die Trainingskorpora von KI riesige Mengen kommerzieller Sprache enthalten, die darauf ausgelegt ist, die kritischen Fähigkeiten zu betäuben und Handlungen auszulösen; ebenso enthalten sie zahlreiche Meinungsartikel, die überzeugen sollen und oft rhetorische Fehlschlüsse nutzen, sei es zynisch oder als Spiegel des unvollkommenen Denkprozesses eines Autors.
- orbital-decay
Wie üblich antworten die meisten Kommentatoren auf Schlagzeilen, also zitiere ich ihre Schlussfolgerungen.
>Wir betrachten diese Ergebnisse als Proof of Concept, dass eine Längenstrafe, die während des Reinforcement Learning mit GRPO verwendet wird, grammatikalische Merkmale direkt beeinflussen kann. Wir stellen fest, dass das Modell nicht direkt angewiesen wurde, komprimierte oder dichte Sprache zu verwenden, und ihm keine Informationen über die Verfügbarkeit syntaktischer Alternationen direkt gegeben wurden. Vielmehr führte die Strafe zu einer emergenten Präferenz für kürzere Mitglieder syntaktischer Alternationen. [...] Wir spekulieren, dass die Verwendung verifizierbarer Belohnungen eine Umgebung schafft, in der Korrektheit von menschenähnlicher Kommunikation entkoppelt ist, was Modelle zu einer neuartigen, potenziell weniger verständlichen Verteilung des Sprachgebrauchs konvergieren lässt.
Das klingt für jeden, der mit den Modellen und dem Training herumgespielt hat, nach gesundem Menschenverstand, aber jemand muss es trotzdem quantifizieren, also ist es gut, dass sie es getan haben. Ich möchte auch anmerken, dass dies nur im Standardregister von Claude sichtbar ist; es kann immer noch anders schreiben, wenn man es dazu auffordert.
- noosphr
Von KI generierter Text hat kein menschenzentriertes zugrundeliegendes Modell der physischen Realität, und seine Metaphern sind dadurch gequält.
Wenn wir sprechende Tausendfüßler hätten, wären die Ergebnisse wahrscheinlich ähnlich, aber aus anderen Gründen.
- lxe
https://gist.github.com/lxe/4cd2ca0fd3b714b25f138227c8c650d3
Ich habe an diesem Prompt für Schreibklarheit herumgefeilt. Der Begriff, auf den wir gekommen sind, war "Asyndetische Parataxe mit referenzieller Ellipse und wiederholtem rhetorischem Abschluss". Er beschreibt nicht vollständig das genaue Problem, das ich mit modernem KI-Schreiben habe, aber er kommt nah heran.
- bassie123
Das liegt daran, dass KI nicht für menschliches Lesen optimiert wurde, sondern dafür, die maximale Informationsmenge in den geringsten Kontext oder die wenigsten Token zu packen.
(z. B. "Baseline-System-Zustandsübergangs-Latenz-Validierung" statt sie mit Präpositionen aufzulösen ("Validierung der Latenz von Zustandsübergängen im Baseline-System").
Ich persönlich kann überhaupt keine Bücher lesen, weil ich vergesse, was zwei Absätze vorher gesagt wurde. Ich wette, Leute, die gut im Überfliegen von Text sind, haben weniger Probleme mit KI-generiertem Text.