Redis-Erfinder startet ds4: 284-Milliarden-Parameter-LLM lokal auf dem Mac

From the creator of Redis; run LLM locally with ds4

Salvatore Sanfilippo, Schöpfer von Redis, veröffentlicht DwarfStar 4 – eine schlanke C-Inferenz-Engine für Macs, CUDA- und ROCm-Maschinen mit viel Speicher. Sie führt DeepSeek V4/V4.1 Flash, GLM 5.x und Qwen3.8 Flash Next lokal aus, mit asymmetrischer 2-Bit-Quantisierung und SSD-Streaming für lange Kontexte. CLI, HTTP-APIs und ein nativer Agent teilen sich Modellzustand und Cache. Auf einem M5 Max mit 128 GB erreicht das System 790 Tokens/s Prefill und 39 Tokens/s Generierung.