Создатель Redis выпустил ds4 — движок для локального запуска DeepSeek V4.1
From the creator of Redis; run LLM locally with ds4
DwarfStar 4 (ds4) — это узкоспециализированный inference-движок на C для Mac, CUDA и ROCm. Он запускает DeepSeek V4 и V4.1 Flash, GLM 5.x и Qwen3.8 Flash Next локально, с текстовыми и vision-моделями, HTTP API, CLI и агентом. Асимметричная 2-битная квантизация сжимает routed-эксперты, сохраняя точность критических путей. KV-кэш можно выгружать на SSD и возобновлять по хешу промпта. Проект распространяется под лицензией MIT.
Не обычный GGUF-раннер. ds4 следует небольшому, оппортунистическому набору семейств моделей и проверяет каждую поддерживаемую конфигурацию от начала до конца.