Redis-Erfinder startet ds4: 284-Milliarden-Parameter-LLM lokal auf dem Mac

From the creator of Redis; run LLM locally with ds4

Redis-Erfinder startet ds4: 284-Milliarden-Parameter-LLM lokal auf dem Mac

Salvatore Sanfilippo, Schöpfer von Redis, veröffentlicht DwarfStar 4 – eine schlanke C-Inferenz-Engine für Macs, CUDA- und ROCm-Maschinen mit viel Speicher. Sie führt DeepSeek V4/V4.1 Flash, GLM 5.x und Qwen3.8 Flash Next lokal aus, mit asymmetrischer 2-Bit-Quantisierung und SSD-Streaming für lange Kontexte. CLI, HTTP-APIs und ein nativer Agent teilen sich Modellzustand und Cache. Auf einem M5 Max mit 128 GB erreicht das System 790 Tokens/s Prefill und 39 Tokens/s Generierung.

Komprimiert, nicht lobotomiert.
  1. neomantra

    Ich pflege einen Fork von ds4 als Shared Libraries, sodass es über FFI auch mit anderen Sprachen genutzt werden kann, zusammen mit öffentlichen Builds/Binaries [1]. Ich habe ds4go [2] gegen ds4 gebaut, mit Techniken, die von yzma inspiriert sind.

    Zusätzlich zu den Library-Bindings haben wir eine kleine Sammlung von Tools (Workspace zum Ansehen/Bearbeiten, Scratchpad zur Persistenz) und sein eigenes zu erstellen bedeutet, eine Go-Funktion zu registrieren. Und in den letzten Wochen habe ich die Vision- und Qwen-Unterstützung hinzugefügt, als ds4 sie hinzufügte.

    Selbst wenn du die Go-Library nicht nutzt, macht das ds4go-Binary es wirklich einfach, die Libraries von HuggingFace herunterzuladen, mit einer TUI, die über Homebrew verfügbar ist.

    Hier sind ein paar TUI-Spielzeug-Screenshots, sorry, ich habe diesen Code immer noch nicht veröffentlicht; er ist von anderer Qualität als die anderen. [3]

    EDIT: ds4go TUI-Screenshot-Gist hinzufügen [4]

    [1] https://github.com/NimbleMarkets/ds4/releases/tag/v0.8.20260...

    [2] https://github.com/nimblemarkets/ds4go#install

    [3] https://gist.github.com/neomantra/ae47422c8daf7a458212c93992...

    [4] https://gist.github.com/neomantra/40180ade13df93290250ce8c6d...

  2. twoodfin

    https://github.com/antirez/ds4

    Die GitHub-Projektseite ist eine viel bessere Einführung für das HN-Publikum.

  3. simoiacos

    Nichts Vergleichbares, aber inspiriert von DwarfStar habe ich eine kleine Inferenz-Engine für Intel Xe-LP (ohne XMX) 32GB-Laptops geschrieben. Das einzige derzeit unterstützte Modell ist ein quantisiertes Gemma-4, aber ich schließe nicht aus, in Zukunft andere MoE ähnlicher Größe zu unterstützen. Schade, dass wir noch kein Qwen 3.8 35B-A3B haben.

    Ich schaue auch, ob ich das Protokoll und die Engine erweitern kann, um verschiedene Steering-Techniken zu unterstützen.

    https://github.com/simoneiacomino/xenolith

  4. ttoinou

    Ich benutze das seit der ersten Veröffentlichung mit deepseek v4 flash, und es ist absolut der beste Launcher überhaupt auf meinem m5 max 128gb

    Jetzt lasse ich seit mehr als einer Woche qwen 3.8 flash next laufen und es macht sich großartig, wirklich schnell und super lange Kontextfenster. Manchmal verhält sich das Modell dumm, indem es sich nicht an etwas erinnert, das ich früher gesagt habe, aber das könnte auch ein Problem des agentischen AI-Harness sein. Ich benutze oh my pi, aber ich frage mich, womit die Leute hier ds4 nutzen?

  5. gchamonlive

    kleine native Inferenz-Engine, optimiert zuerst für DeepSeek V4 Flash (einschließlich des experimentellen Vision-Modells), DeepSeek V4.1 Flash (Metal und Textinferenz auf CUDA) und zusätzlich GLM 5.2 und 5.3, GLM 5.3 Flash und DeepSeek V4 PRO sowie Qwen3.8 Flash Next (Metal und CUDA)

    Das ist lokal und zielt auf High-End-Consumer-Hardware wie DGX Spark oder AMD Ryzen AI Halo.

    Für uns bloße Sterbliche, die vor nicht allzu langer Zeit noch Kinder waren und kaum glauben können, dass wir eine x090-Serie in den Händen halten, die auf Qwen3.8 27b abzielt, ist https://github.com/noonghunna/club-3090 der richtige Weg.

    Ich pflege dafür ein Web-Frontend, zumindest versuche ich es. Du kannst es hier verfolgen: https://github.com/gchamon/club-3090-server

Mehr von diesem Tag

2026-10-02