Slotstream - Streaming 104GB LLM on Macs with 8GB RAM
Show HN: Running 104GB Qwen3.8-Flash-Next on 48GB Mac with at ~12 tok/s
Slotstream ist ein Swift-basiertes Tool, das das Qwen3.8-Flash-Next-Modell (125B MoE, 104 GB bei 4-Bit-Quantisierung) auf Macs mit deutlich weniger Arbeitsspeicher ausführt, indem es die Expertengewichte von der SSD streamt. Es bietet eine Ollama-kompatible API und erreicht auf einem 48-GB-Mac etwa 12 Tokens pro Sekunde. Die Speichernutzung ist automatisch anpassbar und kann auf bis zu 8,1 GB begrenzt werden. Die Installation erfolgt per curl, und das Tool prüft vor dem Download die Kompatibilität. Es unterstützt Streaming, CORS und gängige Sampling-Optionen. Ideal für alle, die große Modelle auf Macs mit begrenztem RAM ausprobieren möchten.
Slotstream lässt ein 104 GB großes Modell auf einem Mac laufen, der es eigentlich nicht halten kann – und das mit beeindruckenden 12 Tokens pro Sekunde.