Redis 之父推出 ds4,本地运行 LLM

From the creator of Redis; run LLM locally with ds4

Redis 之父推出 ds4,本地运行 LLM

Redis 创始人 antirez 推出了 DwarfStar 4(ds4),这是一个专为高内存 Mac、CUDA 和 ROCm 设备打造的轻量级 C 语言推理引擎。ds4 并非通用的 GGUF 运行器,而是针对 DeepSeek V4、GLM 5.x 和 Qwen3.8 等前沿模型进行了深度优化。它采用非对称 2 位量化技术,在压缩模型的同时保留关键路径精度,并支持将 KV 缓存直接存入 SSD,实现长上下文的高效恢复。通过统一的引擎,用户可以直接调用 CLI、本地 HTTP API 或原生 Agent,让本地机器也能流畅运行 2840 亿参数的巨型模型,真正掌握本地 AI 推理的主动权。

非对称量化针对路由专家进行压缩,同时保留关键路径的精度,使模型在高内存机器上变得切实可行。

同日更多故事

2026-10-02