GPT-6 Astra schreibt Netzwerkgewichte direkt um und hebt Qwens Mathe-Leistung von 7,9 auf 48,1 Prozent
Astra can read and write weights to improve Qwen
Forschende am MIT CSAIL zeigen, dass Frontier-LLMs neuronale Netze direkt über ihre rohen Gewichte lesen und verändern können. GPT-6 Astra erkennt allein an den Zahlen, welches Spiel ein Netzwerk gelernt hat, und schreibt ohne Gradienten oder Umgebungsfeedback kleine Spielnetze, die gegen PPO-Modelle mit 100 Millionen Trainingsschritten gewinnen. Bei Qwen3.5-0.8B findet Astra eine Ursache für Endlosschleifen im Reasoning und korrigiert 0,016 Prozent der Gewichte – MATH-500 springt von 7,9 auf 48,1 Prozent, IFEval verdreifacht sich.
Unsere neuronalen Netzwerkgewichte werden bald nativ von LLMs optimiert, die bewusst über ihre Gewichte nachdenken.
- vessenes
Das ist der Wahnsinn.
Astra kann ohne Tooling feststellen, worauf kleine Netzwerke trainiert wurden, kann die Gewichte von Netzwerken direkt bearbeiten, um Ergebnisse zu verbessern, und kann ein kleines Qwen-Modell per Hand bearbeiten, um seine Mathe-Fähigkeiten um etwa das 5-fache zu steigern.
Ich bin geschockt. Hätte man mich heute Morgen gefragt, ob LLMs ein natives Verständnis ihrer Gewichte haben, das geringer ist als das Verständnis Mensch <-> Neuron, gleich oder größer, hätte ich je nach Definition „gleich bis geringer“ gesagt.
Kein Mensch kann ein Gehirn bearbeiten, um besser in Mathe zu werden. Das ist für mich einfach sehr, sehr überraschend und extrem interessant. Ich würde vermuten, dass das so einige Interp-Theorien und philosophische Ansichten darüber, was in diesen Netzwerken vor sich geht, durcheinanderbringt.
- xg15
Und da haben wir's...
Wie andere schon sagten: Es ist zwar immer noch absolut verrückt, aber ich finde es nicht völlig aus heiterem Himmel überraschend. Eine der wiederkehrenden Fähigkeiten (aktueller) LLMs scheint zu sein, sehr komplexe Systeme schnell zu erfassen, wo Menschen Monate oder Jahre bräuchten, um dasselbe Maß an Expertise zu erreichen.
Das sieht man daran, wie ein Coding-Agent ausufernde Legacy-Codebasen in Sekunden „verstehen“ und erklären kann.
Man sieht es auch an den Projekten, die sie nutzen, um proprietäre IoT-Protokolle oder Computerspiele zu reverse-engineeren.
Aber das waren alles Systeme, bei denen wir detailliertes Wissen darüber hatten, welche Strukturen es zu reverse-engineeren gilt.
Wenn die Modelle diese Fähigkeit auf andere Systeme übertragen können, bei denen wir die zugrundeliegende Struktur nicht kennen, dann, denke ich, werden wir in Zukunft noch viel mehr Verrücktheiten erleben. (Protein-Interaktionsnetzwerke? DNA-Sequenzen? Ökosystem-Interaktionen? Tiersprachen?)
Was die Gewichte angeht: Wenn die Modelle wirklich die Semantik hinter bestimmten Gewichten oder Richtungen analysieren können, hoffe ich, dass sie auch eine textuelle Erklärung liefern oder beim Entwurf von Tools helfen können, um das „Handarbeiten“ an Gewichten im Allgemeinen praktischer zu machen.
- NitpickLawyer
> Infolgedessen erkennt und behebt Astra einen häufigen Fehler winziger Reasoning-Modelle: Sie geraten in Schleifen [13]. Wenn das Basismodell in einer Schleife hängt, wiederholt es denselben Text und erreicht selten eine Antwort (85 seiner ersten 96 Übungsantworten liefen bis zum Limit von 32.768 Token). Astra führte die Schleife auf eine Richtung zurück, die von den MLPs der Schichten 15 und 19 geschrieben wurde, und subtrahierte diese Richtung von 64 Ausgabespalten in jeder (131.072 Gewichte), ähnlich wie man ein Verhalten entfernt, indem man eine einzelne Richtung aus den Gewichten eines Modells löscht
HA! Das ist cool. Nicht unbedingt die Verbesserungen – das sind uralte und wahrscheinlich übertrainierte Benchmarks –, aber es ist so cool, dass das Modell eine singuläre Richtung für diesen „Schleifen-Bug“ gefunden hat. Ich kann mir vorstellen, dass es möglicherweise dasselbe tun könnte, um andere „einzelne Richtungen“ zu einer Vielzahl von Themen zu finden (wenn die Guardrails es erlauben). Das ist wirklich, wirklich cool, besonders für die Mechinterp-Leute.
- vanyle
Ich glaube nicht, dass das eine emergente Fähigkeit ist. Ich denke, Astra wurde auf Daten zu neuronalen Gewichten trainiert, als Versuch von OpenAI, zur rekursiven Selbstverbesserung zu gelangen.
Etwas Ähnliches geschah bei frühen GPT-Modellen, die viele Schachpartien in Standardnotation in ihren Trainingsdaten hatten, was sie sehr gut im Schach machte, solange der Prompt das richtige Format hatte.
Wir werden sehen, ob dieser Versuch der RSI funktioniert hat.
- _bobm
Ich denke, das Teilgebiet gibt es schon lange. Siehe einen kleinen Ausschnitt von Papers zu Themen wie der Generierung dynamischer Gewichte während der Inferenz, der Vorhersage von Gewichten aus der Netzwerkarchitektur und dem Lernen der Verteilung zuvor trainierter Netzwerkparameter, um nur einige Stichworte zu nennen:
Parameter Prediction for Unseen Deep Architectures [1]
NeuroGen: Neural Network Parameter Generation via Large Language Models [2]
Diffusion-Based Neural Network Weights Generation [3]
Das Entscheidende für mich ist, dass Astra dazu fähig ist. Ich weiß nicht, ob es darauf trainiert wurde.
All das macht es in meinen Augen nicht weniger verrückt. Und ich weiß immer noch nicht, wie ich heute Nacht ruhig schlafen soll.
[1] https://arxiv.org/abs/2110.13100
- jsenn
Ich habe das Gefühl, dass hier zwei separate Ergebnisse auf etwas irreführende Weise vermischt werden.
> Wir stellen fest, dass Frontier-LLMs überraschend gut darin sind, neuronale Netzwerkgewichte nativ zu lesen und zu schreiben
Diese Behauptung wird durch die Fähigkeit von Astra gestützt, bei einer Textdarstellung der Gewichte winziger (20k) Spezialmodelle herauszufinden, was diese Modelle tun, und sie in einigen Fällen über das hinaus zu verbessern, was RL könnte, indem es einfach die Gewichte liest, ohne Tool-Aufrufe. Sie nennen das „Weight-Space-Programming“.
> Ebenso identifiziert Astra, gebeten, Qwen3.5-0.8B ohne Gradienten besser in Mathe zu machen, ein Problem in seinen Gewichten, das Reasoning-Schleifen verursacht, vor denen Qwens eigene Modellkarte warnt, und behebt dies durch natives Bearbeiten von 0,016 % der Gewichte
Hier hat es Tool-Aufrufe verwendet und scheinbar Standard-Steering-Vektor-Techniken genutzt, um Reasoning-Schleifen in diesem kleinen Qwen-Modell zu identifizieren und zu beheben. Das scheint nicht viel mit den vorherigen Ergebnissen zu tun zu haben.
- futureshock
Ich finde das einfach völlig schockierend. Ich bin definitiv skeptisch. Es passt einfach nicht zu meinem Verständnis davon, wie diese Modelle funktionieren. Gibt es wirklich genug Trainingsdaten zum direkten Bearbeiten von Gewichten, um einem Modell diese Fähigkeit zu geben? Vielleicht ist es ein Beweis dafür, dass OpenAI eine Menge Trainingsdaten zur ML-Forschung erstellt hat. Ich bin allerdings überrascht, dass das in ein öffentlich zugängliches Modell gesteckt wurde.
- Imnimo
Alles in allem bin ich nicht so überrascht, dass es Spiele erraten kann, indem es die Gewichte eines winzigen neuronalen Netzes betrachtet. Ein Mensch kann dasselbe tun, indem er die Gewichte eines auf MNIST trainierten MLP betrachtet, zum Beispiel. Bei dieser einfachen Struktur ist es leicht, die Eingabeschicht anzusehen und zu erkennen, dass die Features der räumlichen Position der Objekte von Interesse entsprechen.
Ich bin viel überraschter, dass es das bei größeren Modellen kann, obwohl die Details darauf hindeuten, dass es viel mehr Freiheit hat, Forward-Passes auszuführen und begrenzte Experimente zu machen, nicht nur die Gewichte mit den Augen zu prüfen.
- GodelNumbering
Ich habe versucht, das mit Astra für ein kleines Modell für natürliche Sprache zu Bash-Befehlen [1][2] zu reproduzieren, aber keine Netto-Verbesserung erzielt. Das Bearbeiten von 1.920 Gewichten behob einige grep-Fehler, brach aber andere Befehle. Ich vermute, es ist einfacher, das Verhalten zu verbessern, wenn es zuerst auf einen bestimmten Bereich des Modells eingegrenzt werden kann.
- belval
Die Leute haben über Sol 6.1 gesprochen, und vielleicht sind sie fürs Coden gleichwertig, aber Astra 6 ist bei so ziemlich allem anderen immer noch meilenweit voraus.
Ich habe Astra-Agenten 3D-Modelle bauen lassen und ihnen direkten Zugriff auf meinen 3D-Drucker gegeben. Die Qualität ihrer Designs ist viel besser als das, was Sol für mich hinbekommen hat. So sehr, dass ich denke, Astra ist eine etwas andere Architektur/ein anderer Encoder, nicht nur ein größeres Modell.
Bild, um einen Eindruck zu bekommen: https://github.com/Belval/crossflow-fan/blob/main/renders/ca.... Das wurde ohne offensichtliche Defekte gedruckt (ja, der Lüfter bläst Luft)