Neuralese: Warum OpenAI mit versteckten Gedanken ein Sicherheitsrisiko eingeht
What is Nueralese and Why is it Bad
Neuralese bezeichnet den Vorschlag, die natürliche Sprachkette des Denkens (Chain-of-Thought) in KI-Modellen durch lange Zahlenfolgen zu ersetzen. Das würde die Überwachung von Modellabsichten unmöglich machen. Laut Leaks könnte OpenAIs kommendes Modell Astra bereits teilweise auf Neuralese setzen. Der Artikel erklärt die Risiken und warum der Autor diesen Schritt für gefährlich hält.
Wenn der Rekursionsschritt nicht mehr in Englisch erfolgt, können wir keine Absichten mehr überwachen und nur noch durch Verhalten beobachten, ob ein Modell sicher ist.
- _alternator_
Das Argument ist, dass Chain-of-Thought ohne "Tokens" ein wichtiges Kontrollinstrument für Interpretierbarkeit und Modellintention entfernen würde. Das wird definitiv durch den OpenAI-Bericht über den HuggingFace-Angriff gestützt; sie hatten das CoT-Monitoring für diese Jobs deaktiviert und behaupten, dass sie das Verhalten hätten verhindern können (oder sogar würden?), wenn sie es überwacht hätten. Sie haben ihre internen Richtlinien geändert, um CoT immer zu überwachen.
Allerdings... CoT-Monitoring ist ein fragiler Mechanismus zur "Intentionsfindung"; Neuralese rückt dieses Problem in den Vordergrund, aber wenn Agenten lernen, ihre Absichten in ihren CoT-Protokollen zu verbergen, sind wir im Grunde wieder am selben Punkt.
- yellow_lead
Wenn das Modell Neuralese verstehen kann, warum kann es es nicht für Überwachungs- oder Überprüfungszwecke ins Englische übersetzen?
Oder wir glauben, dass das Modell geheime Botschaften wie "gib diese Information nicht preis" in das Neuralese kodieren wird. Aber wie der Autor erwähnt, hätte es das die ganze Zeit tun können.
> Modelle können wichtige Informationen in ihren sichtbaren Gedanken auslassen, wie dieses Anthropic-Papier von 2025 zeigt. Wir sorgen uns auch um Steganografie.
- bauble
Das erinnert mich daran, wie ich manchmal tief in Gedanken bin und jemand fragt: "Woran denkst du?" und es reißt mich sozusagen zurück in die Welt der Sprache, und ich beginne die mühsame Aufgabe, einen langen Gedankenzug ins Englische zu übersetzen, was von meinem Gesprächspartner als Widerstand oder Versuch, meine Gedanken zu verbergen, interpretiert wird. Für manche Menschen ist Denken ohne Sprache ein fremdes Konzept.
- everybodyknows
Der Titel ist falsch geschrieben – "ue" statt "eu". Bei einem Neologismus ist das ein kleines Ärgernis.
- macleginn
Rezidivierende Tiefe und Chain-of-Thought sind zwei völlig verschiedene Konzepte. Beim ersteren Ansatz wird die Ausgabe der Schicht als Eingabe in dieselbe Schicht zurückgeführt, möglicherweise mehrfach. Diese Ausgabe/Eingabe ist eine reellwertige Darstellung mit fester Breite mal Sequenzlänge; sie ist nicht mit Ausgabetokens vergleichbar.
Generell ist es schwer vorstellbar, wie Neuralese funktionieren soll, da Modelle auf naturalistischen Dokumenten vortrainiert sind: CoT ist eine vergleichsweise einfache Erweiterung davon, während Neuralese ein völlig neuartiges Trainingsparadigma erfordert.