Ein offenes 27B-Modell schreibt seine eigenen Gewichte um und wird besser
Language Models Can Rewrite Their Own Weights
Forschende zeigen erstmals, dass ein Sprachmodell seine eigenen Gewichte durch eigenes Reasoning umschreiben kann – ohne Gradienten und ohne Training. Das offene 27B-Modell diagnostiziert seine Fehler, testet seine Edits an Übungsaufgaben und übernimmt nur, was funktioniert. So steigert es seine Genauigkeit um 6,6 Punkte auf ungesehenen Problemen und repariert sogar eine beschädigte Kopie seiner selbst auf über 80 Prozent der ursprünglichen Leistung. Der Effekt tritt erst ab einer bestimmten Modellgröße auf.
Die Mauer zwischen Training und Inferenz ist eine Grenze unserer Werkzeuge, keine Eigenschaft von Intelligenz.
- aesthesia
Es ist erwähnenswert, dass die einzige Änderung, die das Modell zu seiner Verbesserung vornahm, darin bestand, die Länge seiner Argumentationsketten zu reduzieren, um das Token-Limit nicht zu erreichen. Das ist im Grunde dasselbe wie das Ergebnis des kürzlich erschienenen Artikels über Weight-Space-Programming (https://rikiyat.github.io/blog/weight-space-programming/), der feststellte, dass selbst Astra nicht in der Lage war, die Leistung eines Modells ohne diese Art offensichtlichen Mangel zu verbessern.
- gavinray
Hat Googles "Sleep"-Paper das nicht schon gezeigt?
https://research.google/blog/the-sleep-framework-a-new-way-f...
> Während der Offline-Sleep-Phase gibt das Modell vorab zugewiesene Mixture-of-Experts-(MoE-)Speicherblöcke frei und aktualisiert seine numerischen Gewichte anhand selbst generierter Übungsbeispiele.
- Toutouxc
Ich hoffe, jemand kann mir das erklären. Sie sagen "kein Training":
> zum ersten Mal schreibt ein Sprachmodell seine eigenen Gewichte durch seine eigene Argumentation um und wird besser, ohne Gradienten und ohne Training
> es testet seine Änderungen an Übungsaufgaben und reicht nur das ein, was funktioniert, wobei jede Änderung die vorherige verbessert, und über acht aufeinanderfolgende Sitzungen steigt seine Genauigkeit nur
Aber das klingt sehr nach Training, und "nur das einreichen, was funktioniert", obwohl wahrscheinlich per Definition kein Gradientenabstieg, scheint auch irgendwie offensichtlich, wenn man etwas optimiert.
- samlinnfer
Ich frage mich, ob sie das Modell darauf trainieren können, sich selbst zu reparieren, ähnlich wie CNN lernt zu deblurren (indem das Originalbild unscharf gemacht wird und das Modell darauf bewertet wird, wie genau es das Originalbild wiederherstellen kann). Das Modell kann darauf bewertet werden, wie genau es seine eigenen Gewichte repariert hat. Dann wird das Modell besser darin, sich selbst zu reparieren, und dann wird ihm gesagt, es solle ein Modell reparieren, das nicht beschädigt wurde, und man schaut, ob es sich rekursiv selbst verbessern kann.
- yieldcrv
Ich hoffe, sie können uns zeigen, wie wir dasselbe mit unserer Neuronenkonfiguration machen können.
- SamInTheShell
Chris Hay hat ein Video veröffentlicht, das die Verwendung zeigt, wie man ein Modell mit seinem LARQL ein Gewicht ändern lässt: https://www.youtube.com/watch?v=NLguavIxFFs
- woah
Die jüngste Reihe von Weight-Rewriting-Papers ist wegen ihres inspirierenden Inhalts wertvoller als wegen ihrer aktuellen Fähigkeiten. In Wirklichkeit nehmen diese Modelle mit Analyseskripten sehr einfache Anpassungen vor, anstatt Gewichte intuitiv zu verstehen, wie die Papers suggerieren.
Allerdings könnte sich das ändern, sobald LLMs mit riesigen Mengen serialisierter LLM-Gewichte und entsprechenden Argumentationsketten vortrainiert werden.
- radicalbyte
Warum sollten sie das nicht können? Wenn man sehen kann, welche Gewichte aktiviert werden, kann man in eine Änderungs->Test->Änderungs-Schleife eintreten.
Ich verstehe, dass dies die Art und Weise ist, wie Leute Zensur usw. aus diesen chinesischen Modellen entfernen.