Neuronale Netze verbergen verborgene Symbolstrukturen – neue Studie zeigt, wie LLMs rechnen, logisch denken und programmieren
The Emergent Symbolic Structure of Artificial Neural Networks
Eine neue Studie zeigt, dass die internen Vektordarstellungen neuronaler Netze – einschließlich großer Sprachmodelle (LLMs) – sich präzise durch symbolische Strukturen annähern lassen. Die Forscher ersetzen den gesamten Darstellungsprozess durch eine geschlossene Gleichung, die eine symbolische Struktur instanziiert, und das Verhalten des Netzes bleibt weitgehend unverändert. Dies gilt für kleine Netze, die Listen manipulieren, sowie für LLMs in Arithmetik, Logik, Code und Sprache. Die symbolische Näherung ermöglicht gezielte Eingriffe in die internen Darstellungen, wodurch sich das Verhalten eines LLM gezielt verändern lässt. Die Arbeit bietet einen Weg, traditionelle symbolische Intelligenzkonzepte mit der vektorbasierten Natur moderner KI zu versöhnen.
Trotz des Anscheins realisieren die internen Darstellungen neuronaler Netze möglicherweise implizit symbolische Strukturen.
- sigpwned
Die großen Fragen, die ich mitnehme, sind:
(1) Sie behaupten, scheinbar bijektive geschlossene symbolische Darstellungen/Approximationen unter anderem von LLMs zu erzeugen. Ist die Auswertung dieser geschlossenen Darstellungen recheneffizienter? Die Auswirkungen könnten enorm sein. Es wäre im Wesentlichen analytische Destillation. Eine Fabel auf einem Chip statt in einem Rechenzentrum wäre in vielerlei Hinsicht wichtig – und disruptiv.
(2) Unüberwachte und sogar überwachte symbolische Ansätze zur Problemlösung scheitern unter anderem an der kombinatorischen Explosion. Dies könnte es uns möglicherweise ermöglichen, LLM-Training und Inferenz als Suchalgorithmus für neuartige symbolische Ansätze zur Lösung neuer Klassen komplexer Probleme zu behandeln, die mit anderen Ansätzen bisher unerreichbar waren. Wenn das funktioniert, vermute ich, dass es auch eine Rückkopplungsschleife ist – die Erkenntnisse aus der einen Darstellung treiben Fortschritte in der anderen voran. Dies würde auch den wirtschaftlichen Wert großer Trainingsläufe erhöhen, da das Modell selbst nun wertvoll ist, nicht nur seine Inferenz.
(3) Kann dies das LLM-Design zu größeren Fähigkeiten treiben?
Die Beziehung zwischen diesem und Anthropics J-Space-Beobachtung ist ebenfalls interessant. Dies ist jedoch viel, viel tiefer und direkter umsetzbar.
EDIT: Ich habe meine Fragen durch Sonnet laufen lassen – ja, ich schätze die Ironie – und es war nicht gerade optimistisch bezüglich der Fragen (1) und (2), hielt (3) jedoch für vernünftig. Wie auch immer, dies ist ein ziemliches Paper. Bei näherer Überlegung glaube ich tatsächlich, dass die scheinbar […]
- jsrozner
Ein großes Problem bei einigen dieser überwachten* Interpretierbarkeitsansätze ist, dass sie trügerische Strukturen finden können. (Es gibt viele Möglichkeiten, das Modell dazu zu bringen, das zu tun, was man will; das ist ungefähr das, was Hewitt und Liang 2019 gezeigt haben.) Dieses Paper zieht auf Seite 20 einen Vergleich zu einer früheren Methode, DAS (Distributed Alignment Search). Diese und verwandte Methoden stützen sich auf Theorien der kausalen Abstraktion, die in der Theorie großartig, in der Praxis jedoch schwieriger sind. DAS zum Beispiel wurde in letzter Zeit vielfach kritisiert (Makelov 2024, Meloux 2025, Sutter 2025, Grant 2026, Kumon 2026). Mein Favorit ist das recht zugängliche Meloux et al.; Sutter 2025 ist auch wirklich gut, stützt sich aber auf eine Art reelle-Zahlen-Argument, das eine verlustfreie Kodierung jeder Eingabe ermöglicht.
Mein bevorstehendes Paper auf der EMNLP bietet eine Alternative, die stattdessen den Begriff der Repräsentation in einer sehr einfachen Vorstellung davon verankert, welche Wirkung sie auf das Lernen/Verhalten des Modells hat, wenn man es adversarial perturbiert. Wenn ich dem Modell zum Beispiel sage, dass es im Kontext „I saw a duck quacking“ ‚duck‘ durch ‚glam‘ ersetzen soll, wie stark wünscht es sich dann, ‚duck‘ durch ‚glam‘ zu ersetzen in „I need to duck out of the meeting“ im Vergleich zu „At the park a duck protected her ducklings.“ Diese Methode funktioniert ziemlich gut, und da wir nur ein einziges Beispiel verwenden, vermeiden wir die Notwendigkeit von Überwachung.
Das verlinkte Paper argumentiert, dass ihre Methode, DISCOVER, nicht in derselben Weise überwacht ist wie DAS, da sie nicht direkt auf kausale Effekte optimiert. Ich habe es nur überflogen, aber ich […]
- gps372
Während ich den Artikel durchgehe, frage ich mich, warum das interessanter sein soll, als die Fähigkeit, Java-Programme aus Bytecode zurückzugewinnen. Also habe ich Copilot dieselbe Frage gestellt. Es sagte mir: „Ehrlich gesagt, hier zeigt sich der Unterschied zwischen einem Ingenieur und einem Forscher!“.
- jkingsman
Die Mathematik und die Kern Experimente hier gehen über meine Fähigkeiten hinaus, aber was ich zu verstehen glaube, ist, dass es mögliche tiefere Darstellungsmuster in LLMs gibt, die Destillate von Kernkonzeptbeziehungen in der Grammatik sind, die wir in einem mathematischen Sinne erfassen können, anstatt des scheinbaren, über Schichten verschmierten Rauschens, das irgendwie, uninterpretierbar (in einem bedeutsamen Sinne), zu korrekter Grammatik/Schlussfolgerungen auflöst.
Das ist ziemlich cool. Ich hoffe, ich habe das einigermaßen richtig verstanden.
- 4b11b4
Klingt vernünftig... Dass das Modell manchmal eine verlustbehaftete Vektordarstellung von etwas Symbolischem lernt... Sicher, ein NN kann eine Funktion approximieren?
Sie sagen, das gilt in... Einigen Beispielen, die sie gefunden haben?
Ich weiß nicht genug über dieses Gebiet