284B DeepSeek-V4-Flash läuft auf einem 64-GB-CPU-Rechner – ganz ohne GPU
Llama-modchip: 284B DeepSeek on 64GB RAM, no GPU
Das Open-Source-Projekt llama-modchip quetscht DeepSeek-V4-Flash mit 284,33 Milliarden Parametern von 76,87 GiB auf 56,56 GiB zusammen, sodass das Modell samt 256K-Kontext in 64 GB RAM passt. Auf einem Ryzen 9 9955HX erreicht es 44,4 tok/s Prefill und 9,1–14,7 tok/s Decode – ohne GPU. Für kleinere Maschinen läuft Nemotron-3.5-30B-A3B in 14,35 GiB mit 25–60 tok/s. Ein spezieller Drafter und schnelle KV-Wiederherstellung beschleunigen zusätzlich.
„284,33 Milliarden Parameter Frontier-MoE in einer 64-GB-CPU-Box: schrumpft DeepSeek-V4-Flash von 76,87 GiB (was auf 64 GB Linux im OOM abstürzt) auf 56,56 GiB auf der Festplatte / 57,61–58,9 GiB VmRSS bei vollem 256K-Kontext – mit 44,36 tok/s Prefill, 9,06–10,74 tok/s reinem CPU-Decode und 11,5–14,7 tok/s mit PVS.“
- kennywinker
Die Einstiegshürde für ein funktionierendes lokales KI-System wird immer niedriger, obwohl die RAM- und GPU-Preise weiter steigen. Eine E5-Workstation mit vielen Threads, 300 $ RAM und mindestens 100 $ GPU liefert etwas, das >100 tok/s + Prompt-Verarbeitung und ~20 tok/s Ausgabe mit Qwen3.8-flash-next:IQ3_S schafft. Pack eine 500-$-GPU dazu, und es geht von kaum brauchbar zu angenehm performant. Für weniger als 800 $ hat man etwas, das mit dem Stand der Technik von vor weniger als einem Jahr mithalten kann.
Ich sehe nicht, wie irgendjemand ein Claude-Abo rechtfertigt. Willst du die Werkzeuge, mit denen du deinen Lebensunterhalt verdienst, von denen mieten, die versuchen, deinen Job zu automatisieren?
- aappleby
Blöde Frage, aber macht dieses KI-generierte Repo eigentlich _irgendetwas_?
Im Vergleich mit Nemotron läuft es ziemlich genau wie das gute alte llama.cpp auf der CPU (außer dass Prefill viel schneller zu sein scheint). Ich sehe keine Option, DeepSeek im "Modchip-Setup" einzurichten, also habe ich das noch nicht getestet.
Edit: Das ist auf einem Ryzen 7945hx 16-Kern Zen 4 + 96 GB DDR5.
- armcat
Was man bei aggressiver Quantisierung bedenken sollte: Es ist empirisch bewiesen [1], dass (1) Quantisierung ein nichtlineares Leistungsverhalten hat und (2) das optimale Verhältnis von Größe zu Leistung im Allgemeinen bei 4 Bit liegt; darunter sieht man eine deutliche Leistungsreduktion.
Außerdem spiele ich seit 2 Jahren mit Sprachmodellen herum, und für mich ist alles unter 8 Bit ein enormer Qualitätsabfall; Quantisierung für LLMs und für andere spezialisierte Modalitätsmodelle ist also nicht 1:1.
[1] "Reliability Scaling Laws for Quantized Large Language Models", TUM, https://arxiv.org/pdf/2607.10855
- sparse-Matrix
Es funktioniert ziemlich gut auf meinem Ryzen 7 5700U/64GB DDR4
Stabile 12 bis 14 TPS.
Nicht gerade rasant, aber schnell genug, um sinnvolle persönliche Arbeit zu erledigen, bei einem Stromverbrauch von 15 W.
- antirez
Um das ins Verhältnis zu setzen: Mit 128 GB Unified RAM kann es sogar schnell laufen: https://x.com/antirez/status/2119392658661749175
Also, Coding-Agent akzeptabel schnell. Siehe später in der Antwort den Prefill mit ~300 t/s, aber bei größeren Prefills geht es sogar noch schneller.
- boredatoms
Die Quantisierung ist wahrscheinlich das Wichtigste, was man wissen muss, und aus dem dichten Wortsalat geht das überhaupt nicht klar hervor.
- akie
Bei welcher Quantisierung? Das ist das Einzige, was ich wissen will.
EDIT: Ich glaube, es sind 2 Bit? Wenn ja, würde mich die Qualität der Ausgabe interessieren. Nicht großartig, denke ich.
- SillyUsername
Interessant. Es gibt ziemlich viele Forks von llama.cpp, bei denen das Streaming von Gewichten erfolgreich war, oder spezielle Quants / Dekomprimierung vor der Verarbeitung.
- Bonsai Qwen 3.8 27B
- Strata
- Pulsar
- Dieses ...
Ich wünschte nur, Upstream Llama.cpp würde die PRs schneller annehmen – sie bauen mehrmals täglich, aber ihr PR-Backlog lag bei zuletzt 1,7K, was eine lächerlich unpraktische Zahl zum Reviewen mit ein paar Freiwilligen ist.
Ich habe das Qwen 3.8 Bonsai-Feature beobachtet, und es hat über 3 Wochen von der Erstellung bis zum Review gedauert, und selbst dann sind die Patches für Fehler nicht enthalten, die sie downstream behoben haben und einfach aufgegeben haben, upstream zu pushen, weil der Prozess so mühsam war.
Also haben sie verzögerte oder fehlende Modellunterstützung und halb funktionierende Implementierungen wie Bonsai's Hadamard Folding, und neue Modelle verlieren diese Art von Optimierung.
Ich nehme an, das ist in Ordnung, wenn man beabsichtigt, dass sein Projekt das Referenzprojekt für Forks ist und diese Art von Spezialisierung fördert, aber ich glaube nicht, dass das beabsichtigt ist.
Zumindest kann ich llamaswap verwenden, um die Inferenz-Engines und Modelle dynamisch zu jonglieren und die Tatsache zu abstrahieren, dass ich 3 oder 4 verschiedene installieren muss.