Создатель Redis выпустил ds4 — движок для локального запуска DeepSeek V4.1
From the creator of Redis; run LLM locally with ds4

DwarfStar 4 (ds4) — это узкоспециализированный inference-движок на C для Mac, CUDA и ROCm. Он запускает DeepSeek V4 и V4.1 Flash, GLM 5.x и Qwen3.8 Flash Next локально, с текстовыми и vision-моделями, HTTP API, CLI и агентом. Асимметричная 2-битная квантизация сжимает routed-эксперты, сохраняя точность критических путей. KV-кэш можно выгружать на SSD и возобновлять по хешу промпта. Проект распространяется под лицензией MIT.
Не обычный GGUF-раннер. ds4 следует небольшому, оппортунистическому набору семейств моделей и проверяет каждую поддерживаемую конфигурацию от начала до конца.
- neomantra
Я поддерживаю форк ds4 в виде разделяемых библиотек, так что его можно использовать с другими языками через FFI, а также публичные сборки/бинарники [1]. Я сделал ds4go [2] на основе ds4, используя приёмы, вдохновлённые yzma.
В дополнение к библиотечным привязкам у нас есть небольшая библиотека инструментов (workspace для просмотра/редактирования, scratchpad для персистентности), а чтобы сделать свой собственный, достаточно зарегистрировать Go-функцию. И за последние недели я добавил поддержку Vision и Qwen, поскольку ds4 их добавил.
Даже если вы не используете Go-библиотеку, бинарник ds4go сильно упрощает скачивание библиотек с HuggingFace через TUI, доступный через Homebrew.
Вот несколько скриншотов TUI-игрушки, извините, я всё ещё не выложил этот код; он отличается по качеству от остальных. [3]
EDIT: добавил gist со скриншотом TUI ds4go [4]
[1] https://github.com/NimbleMarkets/ds4/releases/tag/v0.8.20260...
[2] https://github.com/nimblemarkets/ds4go#install
[3] https://gist.github.com/neomantra/ae47422c8daf7a458212c93992...
[4] https://gist.github.com/neomantra/40180ade13df93290250ce8c6d...
- twoodfin
https://github.com/antirez/ds4
Страница проекта на GitHub — гораздо лучшее введение для аудитории HN.
- simoiacos
Ничего сравнимого, но вдохновлённый DwarfStar, я написал небольшой инференс-движок для ноутбуков на Intel Xe-LP (без XMX) с 32 ГБ. Сейчас поддерживается только квантованная Gemma-4, но я не исключаю, что в будущем поддержу другие MoE похожего размера. Жаль, что у нас пока нет Qwen 3.8 35B-A3B.
Я также изучаю возможность расширить протокол и движок для поддержки различных техник steering.
- ttoinou
Я использую это с самого первого релиза с deepseek v4 flash, и это абсолютно лучший лаунчер на моём m5 max 128gb.
Теперь я больше недели гоняю qwen 3.8 flash next, и он отлично справляется, очень быстрый и с очень длинными контекстными окнами. Иногда модель ведёт себя глупо, не помня что-то, что я говорил ранее, но это может быть и проблемой агентного AI-харнесса. Я использую oh my pi, но мне интересно, что здесь люди используют вместе с ds4?
- gchamonlive
маленький нативный инференс-движок, оптимизированный в первую очередь для DeepSeek V4 Flash (включая экспериментальную vision-модель), DeepSeek V4.1 Flash (Metal и текстовый инференс на CUDA), а также дополнительно GLM 5.2 и 5.3, GLM 5.3 Flash и DeepSeek V4 PRO, и Qwen3.8 Flash Next (Metal и CUDA)
Это локальное решение, нацеленное на высококлассное потребительское железо вроде DGX Spark или AMD Ryzen AI Halo.
Для нас, простых смертных, которые ещё недавно были детьми и с трудом верят, что у нас в руках серия x090, нацеленная на Qwen3.8 27b, — https://github.com/noonghunna/club-3090 это то, что нужно.
Я поддерживаю веб-фронтенд для этого, по крайней мере пытаюсь. Следить можно здесь: https://github.com/gchamon/club-3090-server