Neuronale Netze verbergen verborgene Symbolstrukturen – neue Studie zeigt, wie LLMs rechnen, logisch denken und programmieren
The Emergent Symbolic Structure of Artificial Neural Networks
Eine neue Studie zeigt, dass die internen Vektordarstellungen neuronaler Netze – einschließlich großer Sprachmodelle (LLMs) – sich präzise durch symbolische Strukturen annähern lassen. Die Forscher ersetzen den gesamten Darstellungsprozess durch eine geschlossene Gleichung, die eine symbolische Struktur instanziiert, und das Verhalten des Netzes bleibt weitgehend unverändert. Dies gilt für kleine Netze, die Listen manipulieren, sowie für LLMs in Arithmetik, Logik, Code und Sprache. Die symbolische Näherung ermöglicht gezielte Eingriffe in die internen Darstellungen, wodurch sich das Verhalten eines LLM gezielt verändern lässt. Die Arbeit bietet einen Weg, traditionelle symbolische Intelligenzkonzepte mit der vektorbasierten Natur moderner KI zu versöhnen.
Trotz des Anscheins realisieren die internen Darstellungen neuronaler Netze möglicherweise implizit symbolische Strukturen.
- sigpwned
Die großen Fragen, die ich mitnehme, sind:
(1) Sie behaupten, scheinbar bijektive geschlossene symbolische Darstellungen/Approximationen von unter anderem LLMs zu erzeugen. Ist die Auswertung dieser geschlossenen Darstellungen recheneffizienter? Die Auswirkungen könnten potenziell enorm sein. Es wäre im Wesentlichen analytische Destillation. Eine Fabel auf einem Chip und nicht in einem Rechenzentrum wäre in vielerlei Hinsicht wichtig – und disruptiv.
(2) Unüberwachte und sogar überwachte symbolische Ansätze zur Problemlösung scheitern unter anderem an der kombinatorischen Explosion. Dies könnte es uns möglicherweise ermöglichen, LLM-Training und Inferenz als Suchalgorithmus für neuartige symbolische Ansätze zur Lösung neuer Klassen komplexer Probleme zu behandeln, die mit anderen Ansätzen bisher unerreichbar waren. Wenn das funktioniert, vermute ich, dass es auch eine Rückkopplungsschleife ist – die Erkenntnisse aus der einen Darstellung treiben Fortschritte in der anderen voran. Dies würde auch den wirtschaftlichen Wert großer Trainingsläufe erhöhen, da das Modell selbst jetzt wertvoll ist, nicht nur seine Inferenz.
(3) Kann dies laut Obigem das LLM-Design zu größeren Fähigkeiten treiben?
Die Beziehung zwischen diesem und Anthropics J-Space-Beobachtung ist ebenfalls interessant. Dies ist jedoch viel, viel tiefer und direkter umsetzbar.
ANMERKUNG: Ich habe meine Fragen durch Sonnet laufen lassen – ja, ich schätze die Ironie – und es war nicht gerade optimistisch bezüglich der Fragen (1) und (2), hielt (3) aber für vernünftig. Wie auch immer, das ist ein ziemliches Paper. Bei näherer Überlegung glaube ich tatsächlich, dass die scheinbaren [...]
- adsharma
Ich bin ermutigt durch dieses Ergebnis. Es ist die Haupthypothese hinter latentpedia.org.
Anstatt die Geometrie eines Modells in einen riesigen Wissensgraphen zu destillieren, beginnen wir mit den größten bekannten Open-Source-Graphen und bauen sie in Richtung von etwas auf, das dieser Geometrie ähnelt.
Komm und mach mit. Diskutiere auf github.com/latentpedia. Wir haben die grundlegende Technik abgedeckt. Wir brauchen mehr Rechenleistung, Speicher und genug Geschäft, um die Kosten für das Bereitstellen zu decken.
- jsrozner
Ein großes Problem bei einigen dieser überwachten* Interpretierbarkeitsansätze ist, dass sie trügerische Strukturen finden können. (Es gibt viele Möglichkeiten, das Modell dazu zu bringen, das zu tun, was man will; das ist ungefähr das, was Hewitt und Liang 2019 gezeigt haben.) Dieses Papier zieht einen Vergleich zu einer früheren Methode, DAS (distributed alignment search), auf Seite 20. Diese und verwandte Methoden stützen sich auf Theorien der kausalen Abstraktion, die in der Theorie großartig, in der Praxis aber schwieriger sind. DAS zum Beispiel wurde in letzter Zeit vielfach kritisiert (Makelov 2024, Meloux 2025, Sutter 2025, Grant 2026, Kumon 2026). Mein Favorit ist das recht zugängliche Meloux et al.; Sutter 2025 ist auch wirklich gut, stützt sich aber auf eine Art reelle Zahlen-Argument, das eine verlustfreie Kodierung jedes Inputs ermöglicht.
Mein kommendes Papier bei EMNLP bietet eine Alternative, die stattdessen den Begriff der Repräsentation in einer sehr einfachen Vorstellung davon verankert, welche Wirkung sie auf das Lernen/Verhalten des Modells hat, wenn man sie adversarial perturbiert. Wenn ich zum Beispiel einem Modell sage, dass es im Kontext "Ich sah eine Ente, die quakte" 'Ente' durch 'glam' ersetzen soll, wie sehr möchte es 'Ente' durch 'glam' ersetzen in "Ich muss mich aus der Besprechung herausducken" vs. "Im Park beschützte eine Ente ihre Entenküken." Diese Methode funktioniert ziemlich gut, und da wir nur ein einziges Beispiel verwenden, vermeiden wir die Notwendigkeit von Überwachung.
Das verlinkte Papier argumentiert, dass ihre Methode, DISCOVER, nicht in derselben Weise überwacht ist wie DAS, da sie nicht direkt auf kausale Wirkung optimiert. Ich habe dies nur überflogen, aber ich [...]
- jkingsman
Die Mathematik und die Kern experimente hier gehen über meine Fähigkeiten hinaus, aber was ich zu verstehen glaube, ist, dass es mögliche tiefere Darstellungsmuster gibt, die in LLMs existieren und Destillationen von Kernkonzeptbeziehungen in der Grammatik sind, die wir in einem mathematischen Sinne begreifen können, anstatt scheinbar schichtenverschmierter Rauschen, das irgendwie – in einem bedeutungsvollen Sinne – uninterpretierbar zu korrekter Grammatik/Inferenzen auflöst.
Das ist ziemlich cool. Ich hoffe, ich habe das einigermaßen richtig verstanden.
- gps372
Während ich den Artikel durchgehe, frage ich mich, warum das interessanter ist als die Fähigkeit, Java-Programme aus Bytecode zurückzugewinnen. Also habe ich Copilot dieselbe Frage gestellt. Es sagte mir – "Ehrlich gesagt, hier zeigt sich der Unterschied zwischen einem Ingenieur und einem Forscher!" .
- profsummergig
Der menschliche Verstand kann die Kapazität von massiv mehrdimensionalem Raum nicht erfassen.
Schon der Übergang von 2D zu 3D schafft massiv neue positionelle Möglichkeiten (z. B. die Erdoberfläche gegenüber der Atmosphäre über der Erde...).
Stell dir jetzt 1.000 Dimensionen vor.
- 4b11b4
Klingt vernünftig... Dass das Modell manchmal eine verlustbehaftete Vektordarstellung von etwas Symbolischem lernt... Sicher, ein NN kann eine Funktion approximieren?
Sie sagen, das gilt in... Einigen Beispielen, die sie gefunden haben?
Ich weiß nicht genug über dieses Gebiet
- squidbeak
Wenn ich so etwas lese (als Laie), scheint es absurd reduktiv, diese Dinge als 'Nächste-Token-Vorhersager' zu bezeichnen. Irgendwann müssen wir zugeben, dass 'Auswahl' ein besserer Begriff dafür ist als 'Vorhersage'.