Redis 之父推出 ds4,本地运行 LLM
From the creator of Redis; run LLM locally with ds4

Redis 创始人 antirez 推出了 DwarfStar 4(ds4),这是一个专为高内存 Mac、CUDA 和 ROCm 设备打造的轻量级 C 语言推理引擎。ds4 并非通用的 GGUF 运行器,而是针对 DeepSeek V4、GLM 5.x 和 Qwen3.8 等前沿模型进行了深度优化。它采用非对称 2 位量化技术,在压缩模型的同时保留关键路径精度,并支持将 KV 缓存直接存入 SSD,实现长上下文的高效恢复。通过统一的引擎,用户可以直接调用 CLI、本地 HTTP API 或原生 Agent,让本地机器也能流畅运行 2840 亿参数的巨型模型,真正掌握本地 AI 推理的主动权。
非对称量化针对路由专家进行压缩,同时保留关键路径的精度,使模型在高内存机器上变得切实可行。
HN 评论区
98- neomantra
我维护了一个 ds4 的分支,将其作为共享库,因此可以通过 FFI 与其他语言配合使用,同时提供公开构建的二进制文件 [1]。我利用受 yzma 启发的技术,基于 ds4 制作了 ds4go [2]。
除了库绑定外,我们还提供了一套小型工具集(workspace 用于查看/编辑,scratchpad 用于持久化),而创建你自己的工具只需注册一个 Go 函数。最近几周,随着 ds4 新增支持,我也添加了 Vision 和 Qwen 的支持。
即使你不使用 Go 库,ds4go 二进制文件也让从 HuggingFace 下载库变得非常简单,并且可以通过 Homebrew 获取一个 TUI(文本用户界面)。
这里有一些 TUI 玩具的截图,抱歉我还没发布那段代码;它的画质和其他的不太一样。[3]
编辑:补充 ds4go TUI 截图的 gist [4]
[1] https://github.com/NimbleMarkets/ds4/releases/tag/v0.8.20260...
[2] https://github.com/nimblemarkets/ds4go#install
[3] https://gist.github.com/neomantra/ae47422c8daf7a458212c93992...
[4] https://gist.github.com/neomantra/40180ade13df93290250ce8c6d...
- twoodfin
https://github.com/antirez/ds4
该项目的 GitHub 页面对于 HN 的读者来说是一个更好的介绍。
- cuttothechase
好奇它在工具调用(tool calling)方面的表现如何。有人有相关数据、视频或其他资料吗?
从 GitHub 仓库来看,似乎你并不需要一台配备海量内存的大号 Mac,SSD 就足够了。
如果它的性能能接近 50 TPS,那在个人 LLM 领域将是一个颠覆性的突破!
- simoiacos
虽然没有直接可比的项目,但受 DwarfStar 启发,我为 Intel Xe-LP(无 XMX)的 32GB 笔记本电脑编写了一个小型推理引擎。目前唯一支持的模型是量化版的 Gemma-4,但未来不排除支持其他类似规模的 MoE 模型。遗憾的是,我们还没有 Qwen 3.8 35B-A3B。
我也正在研究扩展协议和引擎,以支持各种引导(steering)技术。
- ttoinou
从它最初发布配合 deepseek v4 flash 开始我就一直在用,它绝对是我 m5 max 128GB 上最好的启动器。
现在我已经运行 qwen 3.8 flash next 超过一周了,表现非常出色,速度极快,上下文窗口也超级长。不过有时候模型表现得很蠢,记不住我之前说过的话,但这也可能是 agentic AI harness 的问题。我目前用的是 oh my pi,但想知道大家在这里都是用什么配合 ds4 的?