Qwen 3.8 27B erkennt auf meinem Laptop, welches Spiel ein neuronales Netz gelernt hat – nur anhand der rohen Gewichte
Qwen 3.8 27B on my laptop can interpret model weights, too
Simon Willison testet ein Experiment aus dem Paper zu „Weight-Space Programming“: Ein LLM soll allein aus den rohen Gleitkommazahlen eines RL-Netzes ableiten, welches Spiel es spielt. Qwen 3.8 27B, lokal in LM Studio mit 17 GB, erkannte Pac-Man, Pong und Breakout nach 46 bis 65 Minuten und zehntausenden Reasoning-Tokens korrekt, scheiterte aber am obskuren Freeway. Er hält die Fähigkeit für beeindruckend, die weitreichenden Schlussfolgerungen anderer Kommentatoren jedoch für überzogen.
Ich bin nicht bereit zu erklären, das Zeitalter des Quellcodes sei vorbei und unsere Zukunft bestehe aus unverständlichen Maschinen, die ihre eigenen Modellgewichte auf unverständliche Weise bearbeiten.
- variaga
Ich mache keine Aussagen über die Fähigkeiten eines bestimmten Modells, aber all diese Beiträge à la „kann Modellgewichte interpretieren“ erinnern mich an die Zeile in Shakespeares Heinrich IV.
GLENDOWER: Ich kann Geister aus der tiefen See rufen.
HOTSPUR: Warum, das kann ich auch, oder jeder Mann, aber werden sie kommen, wenn du sie rufst?
Ich kann Gewichte auch interpretieren, aber wird diese Interpretation korrekt sein?
- zkmon
Qwen-3.8-27B – das Beste, was bisher in der KI passiert ist.
Dieses Ding kann die gleichen Ergebnisse erzielen wie die Frontier-Modelle, wenn man bereit ist, die Rolle eines übergeordneten Architekten oder Entscheiders zu spielen. Führe es hier und da ein bisschen wie ein Tech Lead und du bekommst alles erledigt.
Das Geld, das man für Frontier-Modelle zahlt, ist genau dafür da, diese übergeordnete Richtungsarbeit an Agenten auszulagern.
- athrowaway3z
Hoffentlich bekommen wir einen neuen Benchmark: Wie gut kann ein Modell eine Reihe von Gewichten anpassen, um einen Pelikan auf einem Fahrrad zu erzeugen?
- data-ottawa
Vielleicht übersehe ich das, aber kann Qwen 3.8 die Gewichte von Qwen 3.8 verändern?
Es gibt viele bekannte Neuronen in den älteren Qwen-Modellen, von denen seit langem bekannt ist, dass sie Verhaltensänderungen hervorrufen (siehe evil Qwen durch Ändern eines Gewichts).
Meine Frage läuft darauf hinaus, wie viel trainiert ist vs. tatsächlich die Gewichte verstehen zu können. Vermutlich ist ein Modell derselben Generation nicht auf Quellen trainiert, die diese Generation analysieren. Und wie viel spielen länger bekannte Konzepte wie Steering Vectors, J Spaces, LoRAs hier hinein?
Das erklärt nicht die Spiel-Trainingsfälle, die ich sehr beeindruckend finde.
- layer8
> Ich bin nicht bereit zu erklären, dass das Zeitalter des Quellcodes vorbei ist und unsere Zukunft unverständliche Maschinen umfasst, die ihre eigenen Modellgewichte auf unverständliche Weise bearbeiten.
Das klingt ein bisschen wie Biologie; vielleicht wird KI so werden.
- NitpickLawyer
Simon, könntest du versuchen, Experiment 5 aus dem Blogbeitrag zu reproduzieren, wenn du die Gelegenheit hast? Anscheinend hat diese Person [1] mit API-Modellen versucht und nur die neuesten Modelle können das beeindruckende 10-20x gegenüber der PPO-Baseline leisten.
[1] - https://nitter.netbub.com/AlexKrentsel/status/21173766837246...
- olalonde
Ich habe vor ein paar Wochen in diese Richtung gedacht[0] – genauer gesagt, ob wir Gewichtsmanipulation als eine Art Programmier-/Kompilierungsaufgabe behandeln könnten. Ich hatte erwartet, dass es viel mehr Training mit synthetischen Datensätzen erfordern würde. Es ist überraschend, dass bestehende Modelle darin bereits einigermaßen gut sind.
- mirekrusin
Also, wer wird zuerst ein Modell dazu bringen, seine Gewichte in einer Schleife anzusehen, zu aktualisieren und neu zu laden?