Ein 360M-Modell spielt Terminal – ohne Shell und Dateisystem dahinter
WorldTUI: I trained a 360M model to pretend to be a terminal
Simon Willison hat Qwen2.5-Coder-0.5B zu einem Terminal-World-Model feinjustiert: Jeder Tastendruck geht hinein, das Modell sagt die Bildschirmänderung voraus. Es legt Dateien an, startet vim und tmux, spielt Snake und erinnert sich meist an frühere Befehle. Entscheidend waren selbstkorrigierendes Training nach DAgger und paralleles Dekodieren der Zeilen, was die p95-Latenz bei großen Frames von 6,7 auf 0,87 Sekunden senkte. Insgesamt rund 75 GPU-Stunden auf einer RTX 4090.
Was ich wirklich wissen wollte: Kann es eine konsistente Welt aufrechterhalten – oder nur überzeugende Terminal-Ausgaben erzeugen?
- nico
Sehr, sehr cool! Beeindruckend, dass das nur mit Fine-Tuning möglich ist.
Zu einem sehr ähnlichen Thema habe ich kürzlich ein „lossy git“ gebaut, das deinen Code speichert, indem es ein neuronales Netz trainiert, und dann beim Checkout den Code wieder für dich generiert.
* Web-Demo: https://nicobrenner.github.io/lossy-git/demo.html
* CLI-Version: https://nicobrenner.github.io/lossy-git/
Die Web-Demo läuft vollständig im Browser, sowohl die Versionskontrolle als auch das Training und die Inferenz des neuronalen Netzes. Du kannst sowohl Bilder als auch Code committen und auschecken – du kannst auch eigene Bilder einfügen/„hochladen“, ohne Server-Anfragen (alles wird beim Neuladen der Seite gelöscht)
- dpflan
Das erinnert mich an diesen Beitrag von vor etwa 3 Jahren: https://news.ycombinator.com/item?id=33847479
"Building A Virtual Machine inside ChatGPT"
- https://www.engraved.blog/building-a-virtual-machine-inside/
Er wird auch im Abschnitt "Related Work" erwähnt.
- saagarjha
> Ist es nützlich? Nicht wirklich.
Interessanterweise hat Anthropic Modelle dieser Art für ihre Alignment-Evaluierungen verwendet: https://alignment.anthropic.com/2026/reward-seeker/#:~:text=...
- _bobm
Ich brate mir jeden Tag das Gehirn, um Schritt zu halten, aber ehrlich, hört auf Leute. Gönnt dem Typen eine Pause.
Das ist die magischste Zeit in meinem Erwachsenenleben. Die 70er, 80er und 90er wirken wie ein Gemälde im Vergleich zum aktuellen Tempo. Ich bin buchstäblich am Ende jedes Tages müde. Hundemüde.
Tolle Arbeit OP. Ich meine. Das ist verrückt.
- sehw
Wie viel Geld?
- Meleagris
Das ist nützlicher, als du denkst. Ziehe in Betracht, so etwas für einen Honeypot mit hoher Interaktion zu verwenden.
- andai
> Ich habe Qwen2.5-Coder-0.5B als Ausgangspunkt verwendet. Ich brauchte ein kleines Modell, um nahe an Echtzeit-Leistung zu kommen. Als Coding-Modell hatte es außerdem bereits reichlich CLI-Nutzung gesehen.
Interessant. Ich wollte fragen, wie dieses Modell im Vergleich zur feinabgestimmten Version abschneidet, aber ich habe gerade gesehen, dass der Autor Benchmarks bereitgestellt hat. Interessant, dass das Fine-Tuning den Speicher so deutlich verbessert hat, das hätte ich nicht erwartet.
Obwohl, bei näherem Nachdenken hatte ich eine Erfahrung, bei der ich als Mensch meinen Speicher über das hinaus feinabstimmen konnte, was ich zuvor für möglich hielt!
Erinnert mich an einen meiner Lieblingswitze.
Entschuldigung, können Sie mir sagen, wie ich zur Carnegie Hall komme?
—Üben, Mann ... Üben ...
- ponyous
Eines der ersten sehr coolen Demos, die ich von ChatGPT gesehen habe, war in einem Beitrag, in dem der Autor die KI aufforderte: „Tu so, als wärst du ein Terminal“. Dann fuhr er fort, Befehle wie `cd .fbi`, `ls files`, `cat files/confidential.txt` auszuführen. Sehr lustige Demo. Ich freue mich darauf, eine ähnliche Idee mit diesem Terminal zu erkunden.