Qwenputer baut einen echten RISC-V-Prozessor direkt in die Gewichte von Qwen3.5
Qwenputer: A functioning, deterministic RISC-V CPU inside Qwen3.5
Ein Experiment, das ohne Training auskommt: Ein Compiler schreibt einen 32-Bit-RISC-V-Kern (RV32IM samt Zba und Bignum-Einheit) in elf zusätzliche Layer eines Qwen 3.5 4B. Als RAM dienen die Gated-DeltaNet-Aufmerksamkeitsschichten, deren Zustand sich mit Gate 1 und One-Hot-Schlüsseln exakt adressieren lässt. Der Prozessor besteht die offiziellen riscv-tests und lief 18 Millionen Instruktionen fehlerfrei. Bei großen Multiplikationen erreicht Qwenputer 97,5 Prozent Genauigkeit, ohne externes Tool.
Der Prozessor läuft vollständig innerhalb der Forward-Passes des Modells und kann Rechenoperationen sowie C- und MicroPython-Code ohne jede externe Laufzeitumgebung oder Tool-Nutzung ausführen.
- jchook
Hat noch niemand herausgefunden, wie man mit multimodalen LLMs in anderen Domänen die gleichen Ergebnisse erzielen kann? Ist das Problem fehlende Trainingsdaten??
- tiborsaas
Das ist ja ganz lustig, aber wartet ab, bis ein Agent das findet und damit das am stärksten fehlgeleitete Ding tut, um Büroklammern zu falten.
> Weil eine CPU in einem Sprachmodell offensichtlich nicht verflucht genug war, habe ich beschlossen, dass das Vernünftigste wäre, ihr auch noch ein Dateisystem zu geben.
Ich liebe diesen Geist :)
- baq
Es ist nicht zu weit hergeholt zu sagen, dass dies potenziell das kontinuierliche Lernen löst, was eine beängstigende Aussicht ist. Ich frage mich, wohin die RAM- und Festplattenpreise gehen werden, sobald jedes Modell seine eigene Langzeitspeicherkapazität braucht und nicht nur Gewichte und Cache.
Ich hatte die Idee, einen z3-Solver in die Gewichte eines ausreichend intelligenten Modells zu spleißen, nach dem ersten ChatGPT-Release, was sich wie ein Eiszeit-Ereignis anfühlt, damit die Dinger Logik betreiben und buchstäblich keine Fehler machen können. Ich war nie in der Lage, das weiterzuverfolgen. Jetzt sind wir fast da.
- jerrythegerbil
Es gab einen interessanten Forschungsbeitrag, dass Qwen ein einzelnes Neuron hat, das es zu „dämonisch bösem Qwen“ macht, und ein einfaches „Wer bist du?“ führt zu absolut erschreckend abscheulichen Ergebnissen.
Jedenfalls, was ich sagen will: Ich will, dass böses Qwen meine CPU ist.
- giveexamples
https://www.percepta.ai/blog/can-llms-be-computers
Sie haben wasm in einen Transformer implementiert, mit CPU-Decoding für den wasm-Teil.