Redisの生みの親が放つds4、284Bモデルをローカルで動かす
From the creator of Redis; run LLM locally with ds4

Redis作者のantirez氏が公開したDwarfStar 4(ds4)は、高メモリMacやCUDA、ROCmマシン向けのC製推論エンジン。DeepSeek V4/V4.1 Flash、GLM 5.x、Qwen3.8 Flash Nextに対応し、非対称2bit量子化でルーティングされたエキスパートを圧縮。CLI、HTTP API、ネイティブエージェントを1つのスタックで提供し、MITライセンスで公開されている。
汎用のGGUFランナーではない。ds4は少数のモデルファミリーを日和見的に追い、サポートする各レイアウトをエンドツーエンドで検証する。
HNでの議論
98- neomantra
私はds4のフォークを共有ライブラリとしてメンテナンスしていて、そうすることでFFI経由で他の言語からも使えるんだ。公開ビルド/バイナリも一緒にね[1]。それからyzmaにインスパイアされたテクニックを使って、ds4に対するds4go[2]も作った。
ライブラリバインディングに加えて、小さなツール群(閲覧/編集用のワークスペース、永続化用のスクラッチパッド)も用意していて、自分で作る場合はGoの関数を登録するだけだよ。そしてここ数週間で、ds4がVisionとQwenのサポートを追加したのに合わせて、自分もそれを追加した。
Goライブラリを使わなくても、ds4goバイナリがあればHuggingFaceからライブラリをダウンロードするのがすごく簡単になる。Homebrew経由で使えるTUIもある。
TUIのおもちゃのスクリーンショットをいくつか載せておく。ごめん、まだそのコードはリリースできてないんだ。他のものとはクオリティが違うからね。[3]
EDIT: ds4go TUIのスクリーンショットgistを追加[4]
[1] https://github.com/NimbleMarkets/ds4/releases/tag/v0.8.20260...
[2] https://github.com/nimblemarkets/ds4go#install
[3] https://gist.github.com/neomantra/ae47422c8daf7a458212c93992...
[4] https://gist.github.com/neomantra/40180ade13df93290250ce8c6d...
- twoodfin
https://github.com/antirez/ds4
プロジェクトのGitHubページのほうが、HNの連中にはずっと良い入門になるよ。
- simoiacos
比較できるものではないけれど、DwarfStarにインスパイアされて、Intel Xe-LP(XMXなし)の32GBノートPC向けに小さな推論エンジンを書いた。今のところサポートしているモデルは量子化されたGemma-4だけだけど、将来的には同程度のサイズの他のMoEもサポートするつもりだよ。まだQwen 3.8 35B-A3Bがないのは残念だな。
それから、プロトコルとエンジンを拡張して、いろんなステアリングテクニックをサポートすることも検討している。
- ttoinou
最初にdeepseek v4 flashと一緒にリリースされたときから使っているけど、自分のm5 max 128gbでは間違いなく史上最高のランチャーだよ。
今はqwen 3.8 flash nextを1週間以上動かしているけど、すごく調子が良くて、めちゃくちゃ速いしコンテキストウィンドウも超長い。たまに、前に言ったことを覚えていなくてモデルが馬鹿な振る舞いをすることがあるけど、それはエージェント型AIハーネスの問題かもしれない。自分はoh my piを使っているけど、ここでみんなはds4を何と組み合わせて使っているのか気になるな?
- gchamonlive
小さなネイティブ推論エンジンで、まずDeepSeek V4 Flash(実験的なビジョンモデルを含む)、DeepSeek V4.1 Flash(Metal、およびCUDAでのテキスト推論)向けに最適化されていて、さらにGLM 5.2と5.3、GLM 5.3 FlashとDeepSeek V4 PRO、そしてQwen3.8 Flash Next(MetalとCUDA)もサポートしている。
これはDGX SparkやAMD Ryzen AI Haloのようなハイエンドなコンシューマー向けハードウェアをターゲットにしたローカル向けだ。
少し前まで子供だった、Qwen3.8 27b向けのx090シリーズを手に入れられたなんて信じられないような、我々ただの凡人のような人間には、https://github.com/noonghunna/club-3090 がおすすめだよ。
自分はこれ用のWebフロントエンドをメンテナンスしている、少なくともそうしようとしている。ここでフォローできるよ: https://github.com/gchamon/club-3090-server