Kimi K3 (2.8T) läuft auf einem MacBook Pro – ein Token pro Sekunde, gestreamt von vier SSDs
Kimi K3 (2.8T) at 1 token/s on a MacBook Pro, streamed from four SSDs
Ein neuer Fork des Deltafin-Projekts bringt das vollständige, unbeschnittene 2,8-Billionen-Parameter-Modell Kimi K3 auf Apple Silicon. Statt die Expertengewichte zu komprimieren, streamt das Projekt die Originalgewichte von vier SSDs und erreicht damit auf einem M1 Max Laptop 0,29 Token pro Sekunde. Die Macher betonen, dass Qualität nicht reduziert wird – alle 16 Experten bleiben aktiv, und K3 entscheidet über jedes Token. Das Ziel: Frontier-Modelle auf Consumer-Hardware nutzbar machen.
„Wir haben uns entschieden, das vollständige Modell mit 2,8 Billionen Parametern lokal auszuführen – nicht, weil es einfach ist, sondern weil es schwer ist.“