Kimi K3 auf dem Laptop: 2,78 Billionen Parameter mit WASTE streamen
Run Kimi K3 using 29 GB of RAM at 0.50 tok/s
Ich habe WASTE entwickelt, einen C-Inferenz-Engine ohne Abhängigkeiten, der das riesige Kimi K3-Modell mit 2,78 Billionen Parametern auf einem Consumer-Laptop ausführt. Durch das Streamen von Gewichten direkt vom NVMe-Speicher und die Nutzung eines begrenzten RAM-Caches umgeht das System die physischen Speicherbeschränkungen. Dies ermöglicht den lokalen Betrieb eines Frontier-Scale-Modells ohne Cloud-API oder Netzwerkanbindung.
Jeder Token, der von einem Cloud-Dienst beantwortet wird, wird doppelt bezahlt: einmal auf der Rechnung und einmal im Stromverbrauch eines Rechenzentrums, das ein Modell betreibt, das eigentlich auf dem Hardware-Setup auf Ihrem Schreibtisch laufen würde.