Neuronale Netze sind bereits sauber: Die Superposition war ein Irrtum
Neural Networks Are Already Clean
Nach monatelanger Untersuchung von Neuronen und Schaltkreisen in Bild- und Sprachmodellen kommt der Autor zu dem Schluss, dass die kanonischen Beispiele für Polysemantizität und Superposition falsch gedeutet wurden. Was wie willkürliche Überlagerung aussah, ist meist rekursive Generalisierung – ein weniger beunruhigendes Motiv. In modernen Modellen wie Qwen3-32B sind rund 90 % der Neuronen leicht interpretierbar. Die Mechanistische Interpretierbarkeit kann Netzwerke direkt studieren, statt sie erst entwirren zu müssen.
Ich denke, ich habe gute Nachrichten über die Natur neuronaler Netze.
- sebmellen
Nick ist eine Naturgewalt. Sehr empfehlenswert, ihm auf X zu folgen, falls du das noch nicht tust.
Sein Launch-Post liefert guten Kontext, der im Blog fehlt:
> Interpretierbarkeit könnte das wichtigste wissenschaftliche Problem der Welt sein, denn ich glaube nicht, dass wir Alignment lösen können, wenn wir nicht wissen, was wir bauen. Ich habe gute Nachrichten dazu. Ich war Mitautor früher Arbeiten zur mechanistischen Interpretierbarkeit bei OpenAI und ging pessimistisch hervor, weil neuronale Netze sich in willkürlich verhedderte Knoten zu falten schienen. Jahre später startete ich OpenAIs erstes groß angelegtes automatisiertes Interpretierbarkeitsprojekt und fand etwa 2 % der Neuronen mit den primitiven Werkzeugen, die wir hatten, lesbar.
> Mit modernen agentischen Werkzeugen und einem viel genaueren Blick sieht das Bild völlig anders aus. Die überwiegende Mehrheit in Modellen bis zu Billionen von Parametern ist lesbar, und ihre Schaltkreise sind wunderschön. Viele berühmte Beispiele verhedderter Neuronen entpuppten sich als missverstanden. Die Hindernisse, die ich erwartet hatte, sind größtenteils nicht da. Ich denke jetzt, dass ehrgeizige Interpretierbarkeit gelöst sein wird, wenn wir sie am dringendsten brauchen, und möglicherweise recht bald, da automatisierte Wissenschaftler sich ständig verbessern. Es könnte eine bittere Lektion für die Interpretierbarkeit sein: Das Einfache, in absurdem Maßstab, funktioniert.
- bluejay2387
Die Behauptungen scheinen über das hinauszugehen, was tatsächlich bewiesen ist. Wir wissen seit wirklich langer Zeit über progressive Merkmalskomplexität und die Auswirkungen früher Trainingsstrukturen auf späteres Training Bescheid (seit CNNs, der Lottery Ticket Hypothesis usw.), und keines dieser Phänomene schließt Parameterüberladung aus. Die Multimodal Gap Arbeit (https://arxiv.org/abs/2203.02053) scheint zu implizieren, dass Netzwerke eine Tendenz zu verdichteten Repräsentationen haben, die eindeutig nicht semantisch sind, und eine Reihe anderer Überlegungen stehen bereits zur Diskussion. Ich denke nicht, dass all diese ausreichend berücksichtigt wurden, um zu behaupten, wir stünden kurz vor mechanistischer Interpretation.
- lukewarm707
Es erinnert mich an dieses Zitat von Judith Butler:
"Der Übergang von einer strukturalistischen Darstellung, in der Kapital als soziale Beziehungen in relativ homologer Weise strukturierend verstanden wird, zu einer Auffassung von Hegemonie, in der Machtverhältnisse Wiederholung, Konvergenz und Reartikulation unterliegen, brachte die Frage der Temporalität in das Denken über Struktur und markierte eine Verschiebung von einer Form Althusserscher Theorie, die strukturelle Totalitäten als theoretische Objekte begreift, zu einer, in der die Einsichten in die kontingente Möglichkeit von Struktur eine erneuerte Auffassung von Hegemonie inaugurieren, die an die kontingenten Orte und Strategien der Reartikulation von Macht gebunden ist."
- juanjmanfredi
Yudkowsky scheint nicht überzeugt zu sein.
- aesthesia
Der Ton erinnert mich ein wenig an die Begeisterung des Anthropic-Mechinterp-Teams zur Zeit der ersten großen SAE-Ergebnisse. Eine Art hypomanische Energie um die Idee, dass wir das Schlüsselparadigma entdeckt haben, das notwendig ist, um Modelle zu verstehen, und dass alles, was bleibt, ist, es hochzuskalieren.
- ks2048
Um etwas von all diesem Text durchzuschneiden – hier ist ein Link, den er "das erste nicht-triviale neuronale Netzwerk, das ich größtenteils zu verstehen glaube" nennt:
https://already-clean.goodfire.com/microscope/medium.html?la...
- x312
TLDR für Leute, da dieses Kommentarfeld viele Missverständnisse enthält.
Die Idee ist: Ein Modell mag nur 100 Mio. Neuronen haben oder so. Aber es gibt unendlich viele Konzepte in der Welt. Daher müssen Modelle mehrere Konzepte pro Neuron "unterbringen".
Wie macht man das? Es gibt zwei Wege:
1. Jedes Neuron behandelt ähnliche Konzepte. Ein Neuron für Hunde, ein separates Neuron für Autos usw.
2. Jedes Neuron behandelt ein Bündel unzusammenhängender Konzepte. Ein Neuron behandelt Hunde und Autos. Ein anderes Neuron behandelt Katzen und Zahlen. Und so weiter.
Historisch dachten die Leute, #2 sei richtig, weil viele Neuronen gefunden wurden, die scheinbar mehrere Konzepte repräsentierten. #2 hatte einen coolen Namen (Polysemantizität) und wurde in OpenAI/Anthropic-Blogs beworben, also hatte es viel Zugkraft.
Allerdings sagt dieser Blog, dass #2 falsch ist. Tatsächlich ist das Hund/Auto-Neuron nur ein "V-Form-Neuron". Also war #2 nur ein methodischer Fehler, und #1 war die ganze Zeit richtig. Das ist alles, was der Blog sagt.
- tuvix
Das ist für mich der Hauptgrund, warum offene Gewichte so wichtig sind. Wenn OpenAI und Anthropic wollen, dass diese Modelle so autonom wie möglich sind, müssen sie auch die Mittel bereitstellen, sie vollständig zu verstehen.