Der „Astra liest und schreibt Gewichte“-Beitrag hält einer Prüfung nicht stand
The 'Astra can read and write weights to improve Qwen' post is misleading
Ein Blogbeitrag behauptet, GPT-6 Astra könne allein durch das Lesen roher Gewichte Netzwerke verbessern und Qwen3.5-0.8B von 7,9 % auf 48,1 % bei MATH-500 bringen. Matthew Honnibal seziert die Experimente: Nur drei kleine Tests mit 17K bis 172K Gewichten arbeiten wirklich ohne Werkzeuge. Jedes Experiment mit einem echten Sprachmodell nutzt Python, und das Qwen-Ergebnis erlaubt dem Modell zusätzlich 50 Durchläufe mit Übungsaufgaben. Die Technik sei nicht einheitlich, sondern ein Bündel verschiedener Ansätze.
Was das Qwen-Ergebnis tatsächlich zeigt, ist, dass Astra so angeregt werden kann, Aufgaben zu entwickeln und auszuführen, die ein menschlicher ML-Engineer erledigen könnte.
- x313
Ich arbeite in diesem Bereich (mech interp research) und stimme zu, der ursprüngliche Beitrag ist definitiv irreführend. Etwas Overselling in der Forschung ist normal, aber das ist ein bisschen viel.
Erstens hat das Hauptergebnis nichts damit zu tun, Qwen besser in Mathe zu machen, es reduziert nur Reasoning-Loops.
Reasoning-Loops sind ein einfaches Problem: Das Modell generiert das </think>-Token (das das Reasoning schließt) mit zu geringer Wahrscheinlichkeit. Man kann das mit einfachen Steering-Ansätzen beheben, bei denen man einen Vektor zu verschiedenen Komponenten des LLM hinzufügt (https://arxiv.org/abs/2503.22048, https://arxiv.org/abs/2506.18167, etc). Die Methode, die Astra zur Identifizierung des Vektors verwendet hat, ist das Standardverfahren, das Menschen nutzen (kontrastive Analyse). Solche Steering-Vektor-Erstellungen sind im Grunde das Standard-„Einstiegsprojekt für Interp“ für menschliche Forscher.
Wenn man programmieren kann und die Interna von LLMs versteht, kann man das selbst in 4-8 Stunden machen. Das SWE-Äquivalent wäre Binary Patching mit einem Debugger. Cool, dass Frontier-Modelle das können, aber nicht unerwartet, da Menschen es problemlos können.
- bushido
Ich spreche für mich selbst. Ich war mir vieler Konzepte rund um Training bewusst, habe mich aber bis vor kurzem davon ferngehalten.
Vor ein paar Wochen habe ich eine Hypothese aufgestellt, dass ich ein kleineres Modell dazu bringen könnte, gut in den spezifischen Standards zu sein, die ich für meine Git-Commit-Nachrichten habe, die heutzutage aus den meisten LLMs schwer herauszubekommen sind.
Ich habe die letzten vier bis fünf Wochen mit traditionellem Training verbracht. Es hat sich in vielen Bereichen verbessert, aber nicht genug, um für mich brauchbar zu sein.
Gestern hat mir der Artikel, den der Autor dieses Beitrags kritisiert, genug Aha-Erlebnis gegeben, dass die Probleme, die ich sah, vielleicht gelöst werden könnten, indem ein größeres LLM die Gewichte direkt ändert, ohne den Weg über das Training zu gehen.
In den letzten zwölf Stunden oder so habe ich mehr Fortschritte gemacht als in über zwei Wochen. Ich verwende einen meiner letzten gut funktionierenden Checkpoints (volles Fine-Tuning + Änderungen am Decision Head/LoRA, etc.) und habe dem Modell freie Hand gegeben, jede der Schichten zu ändern.
Seine letzten beiden Aktionen: (a) 16 Teilnehmerreihenfolge-Richtungen aus einer Head-Matrix entfernt, was eine Art des Reasonings verbesserte und eine andere verschlechterte, und (b) eine der 16 wiederhergestellt, was die Verschlechterung rückgängig machte, während die Kernverbesserung erhalten blieb.
All das um zu sagen: Das mag Leuten bekannt sein, die seit Jahren, sogar Jahrzehnten, im Training unterwegs sind, aber für viele von uns ist es neu. Und wir sind begeistert davon.
- phoghed
War das nicht für jeden, der den ursprünglichen Beitrag gelesen hat, offensichtlich, als er zu dem Abschnitt kam, der explizit erklärte, was der Autor dieses Beitrags jetzt zusammenfasst?
Klar, wenn man nur den Titel und die kurze Zusammenfassung oben liest, geht man ohne das vollständige Bild weg.
Das hier ist meiner Meinung nach eine bessere Antwort: https://news.ycombinator.com/item?id=50344861
- neom
Ich habe das Gefühl, dass ein Großteil dieses Astra-bearbeitet-Qwen-Zeugs eine Wiedergabe bestehender, relativ bekannter Techniken ist, zum Beispiel: https://arxiv.org/html/2406.11717v3 und konzeptionell ähnlich zu: https://arxiv.org/abs/2512.05648 (obwohl das meines Wissens nach im Training gemacht wird)
- tidbeck
Es gab einige wirklich gute Kommentare von @yurimo im Hacker-News-Beitrag „Astra can read and write weights to improve Qwen“ https://news.ycombinator.com/item?id=50341174
- GavinAnderegg
Ich bin immer noch beeindruckt von der Idee des „Weight-Space Programming“. Vielleicht, weil ich vor dem Lesen nicht wusste, dass LLMs Gewichte überhaupt verstehen oder erfolgreich ändern können. Allerdings fand ich die Beispiele im ursprünglichen Artikel augenöffnend. Ja, Menschen können Tools bauen, um Gewichte zu ändern, aber der Autor hier stimmt zu, dass es schwierig ist. Die Beispiele, in denen Astra mit Gewichten interagierte, sind immer noch neuartig, und Astra schien sie mit überraschender Leichtigkeit zu bewältigen.
- vkgcr
Aber theoretisch, was würde die Labs davon abhalten, die Modelle per RL auf „Weight-Space Programming“-Aufgaben zu trainieren, damit sie besser darin werden? Vielleicht stehen wir erst am Anfang, so wie Coding-Agenten vor zwei Jahren schlecht waren.
Es scheint immer noch ein vielversprechender Ansatz für RSI, Destillation, Fine-Tuning und eine ganze Reihe anderer Aufgaben zu sein.
- kenjackson
Der ursprüngliche Beitrag erklärt besser, was sie getan haben und warum, als dieser Beitrag. Dieser Beitrag hat mir nichts beigebracht, was nicht im Original stand.