Scott Aaronson: Selbstreferenz war nie der Schlüssel zur KI
LLMs and Self-Referentiality
In seinem Blog Shtetl-Optimized argumentiert Scott Aaronson, dass die beeindruckenden Fähigkeiten moderner LLMs wie GPT-5.6 Pro und Fable, über sich selbst zu sprechen, nicht auf explizit eingebaute Selbstreferenz zurückgehen. Diese Fähigkeit sei ein Nebenprodukt des Trainings auf riesigen Textmengen, ähnlich wie die Fähigkeit von Computern, Programme zu verarbeiten, die ihren eigenen Code lesen. Damit sieht er die zentrale These von Hofstadters „Gödel, Escher, Bach“ – dass Selbstreferenz der Schlüssel zur Intelligenz sei – als widerlegt an. Er vergleicht die Idee, dass explizite Selbstreferenz für konversationelle Intelligenz nötig sei, mit längst überholten wissenschaftlichen Irrtümern wie dem Äther oder der Phlogistontheorie. Stattdessen sieht er die wahre Grundlage von Intelligenz in Vorhersage und Kompression, wie sie durch die Kolmogorov-Komplexität beschrieben wird.
Aber die Idee, dass man explizite Selbstreferenz bräuchte, bevor man überzeugende und weltverändernde konversationelle Intelligenz bekommen könnte? Lass sie begraben werden in einer Westminster Abbey oder einem Arlington National Cemetery für die wichtigsten falschen Ideen der Menschheitsgeschichte – Geozentrismus, Aristoteles' teleologische Physik, Äther, Phlogiston, Freuds Psychologie, Marx' Vorhersage eines Arbeiteraufstands gefolgt von einer klassenlosen Utopie usw. Aber begraben muss sie werden.
- thatjoeoverthr
Ihr Mangel an Selbstreferenz ist ein Kernproblem, das vielen Fehlern zugrunde liegt, die während der Inferenz auftreten, aber ihre Breite plus der Agent-Harness überdeckt das gut genug, sodass es ein wenig Stochern erfordert, um es zu beobachten. Das Phänomen der „Halluzination“ ist genau das. Sie kennen den Umfang ihres eigenen Wissens nicht und sagen einfach Dinge, sodass die Wahrscheinlichkeit höher ist, dass sie, wenn man aus dem Rahmen fällt, Behauptungen von sich geben, die nicht wahr sind. RAG (ich meine nicht Embedding-Indizes, sondern jede Informationsaufnahme, wie z. B. einen Agent-Harness, der eine Suche ausführt) ist einigermaßen effektiv, um das zu überdecken, genug, um sie sehr nützlich zu machen! Aber wenn es schiefgeht, dann meist aus denselben Gründen. Es hat eine gewisse Natur, und manchmal läuft man ihr zuwider. Aber ich nehme an, das schadet seinem Denken nicht!
- m-hodges
Ich habe Konzepte aus GEB oft in meinem Denken über LLMs verwendet. Über Selbstreferenzialität und das MU-Rätsel: https://matthodges.com/posts/2025-04-21-openai-o4-mini-high-... Über Gödel'sche Grenzen von prompt-sicherer KI: https://matthodges.com/posts/2025-08-26-music-to-break-model... Über die verschwommene Grenze zwischen Mustererkennung und Denken: https://matthodges.com/posts/2026-08-19-bongard-problems/ Ich bin froh, dass der Autor dieses Beitrags mit Folgendem endet: > Was bleibt? Bewusstsein, denn wenn ich GEB gelesen habe (und wieder gelesen), finde ich, dass das Buch viel tiefer ist als nur eine Schwelle für konversationelle Intelligenz.
- gwd
Zwei Kommentare dazu, mit dem Versuch, einen Ansatz zu verfolgen, der fragt: „Welche Hypothese passt zu den Beweisen?“ Erstens: Wenn ein LLM seine eigene Erfahrung beschreibt, ist das nicht wirklich ein Beweis dafür, dass es eine Erfahrung hat, deren es sich bewusst sein könnte, genauso wenig wie ein LLM, das selbstbewusst irgendeine andere Tatsache behauptet, bedeutet, dass es weiß, dass diese Tatsache wahr ist. LLMs beschreiben Musik oder Geschmack, obwohl sie nie tatsächlich etwas gehört oder geschmeckt haben, nur basierend auf dem, was sie darüber gelesen haben. Auf die gleiche Weise würde ein „nicht-bewusstes, scharfes Autocomplete“ ein LLM hervorbringen, das über seine eigene Erfahrung spricht, nur basierend auf dem Input, den es von Menschen hat, die über ihre eigene Erfahrung sprechen. Das gesagt / zweitens: Nach dem wenigen, was ich über die LLM-Architektur verstehe, glaube ich, dass eine große Anzahl selbstreferenzieller Mechanismen eingebaut ist. Zum einen haben fast alle Transformatoren eine „Residualschicht“, wobei verschiedene neuronale Netze diese im Wesentlichen lesen und modifizieren. Das bildet effektiv eine Schleife. Zusätzlich erlaubt der „Denk“-Mechanismus, dass es liest, was es geschrieben hat, und mehr Dinge generiert, was wiederum eine Schleife ist. Vielleicht haben die Leute also nicht gedacht: „Hey, wir sollten ein paar Schleifen einbauen, vielleicht macht das das Ganze bewusst.“ Aber wenn „seltsame Schleife“ das ist, was Bewusstsein definiert, gibt es dort viele Schleifen, auf denen sich eine solche seltsame Schleife möglicherweise bilden könnte.
- macleginn
„Aber die Idee, dass man explizite Selbstreferenzialität bräuchte, bevor man überzeugende und weltverändernde konversationelle Intelligenz bekommen könnte?“ – hat irgendjemand jemals diese eigentliche Idee oder etwas logisch Äquivalentes formuliert? Das sieht nach einem gewaltigen Strohmann aus.
- killerstorm
Vielleicht war „echte“ Selbstreferenzialität nicht nötig. Aber es scheint, dass „dynamisches Feedback“ wesentlich ist, und das scheint der Selbstreferenzialität benachbart zu sein. Wenn wir uns den Optimierungsprozess ansehen, macht er zuerst einen Vorwärtsdurchlauf, der die Ausgabe erzeugt. Dann schaut er in die Berechnungen, die während des Vorwärtsdurchlaufs stattgefunden haben (damit meine ich Backpropagation), und passt die Parameter so an, dass er möglicherweise eine bessere Ausgabe erzeugen könnte. So formuliert klingt es nach Selbstreferenzialität (das System schaut in das, was es gerade getan hat!), aber natürlich ist die Implementierung ziemlich einfach: Es speichert einfach die Aktivierungen aus dem Vorwärtsdurchlauf. Und der Trainingsprozess umfasst nicht nur Code, der den Vorwärtsdurchlauf macht, sondern auch eine vollständige Beschreibung dieser Berechnung, die es ihm ermöglicht, einen Rückwärtsdurchlauf zu machen. Es ist also eine Art abgerollte Selbstreferenzialität, die nicht schwer zu implementieren ist. Vielleicht kann effizienteres Lernen implementiert werden, wenn Forscher einen Trick finden, um zwei getrennte, verschiedene Durchläufe zu vermeiden. Unsere Gehirne machen kein globales Backprop und sind mustereffizienter.