Redis 창시자가 만든 ds4, 284B 파라미터 LLM을 로컬에서 돌리다
From the creator of Redis; run LLM locally with ds4

Redis 창시자 antirez가 공개한 DwarfStar 4(ds4)는 고용량 Mac, CUDA, ROCm 머신에서 DeepSeek V4/V4.1, GLM 5.x, Qwen3.8 Flash Next 같은 대형 오픈 모델을 로컬로 구동하는 C 기반 추론 엔진이다. 라우티드 전문가만 2비트로 압축하는 비대칭 양자화와 SSD로 내보내는 KV 캐시로 128GB 머신에서도 실사용 가능한 속도를 낸다. CLI, OpenAI/Anthropic 호환 API, 네이티브 에이전트를 한 스택에 담아 MIT 라이선스로 공개했다.
압축했지만 뇌를 잘라내지는 않았다. 비대칭 양자화가 라우티드 전문가를 겨냥하면서도 핵심 경로는 정밀하게 보존한다.
HN 토론
98- neomantra
나는 ds4를 공유 라이브러리 형태로 포크해서 유지보수하고 있어서, FFI를 통해 다른 언어에서도 사용할 수 있고 공개 빌드/바이너리도 제공한다 [1]. 나는 yzma에서 영감을 받은 기법들을 써서 ds4를 기반으로 ds4go [2]를 만들었다.
라이브러리 바인딩 외에도, 작은 도구 모음(보기/편집용 workspace, 영속성을 위한 scratchpad)이 있고, 직접 만들려면 Go 함수를 등록하면 된다. 그리고 최근 몇 주 동안 ds4가 Vision과 Qwen 지원을 추가하길래 나도 추가했다.
Go 라이브러리를 쓰지 않더라도, ds4go 바이너리를 쓰면 Homebrew로 이용 가능한 TUI를 통해 HuggingFace에서 라이브러리를 정말 쉽게 다운로드할 수 있다.
TUI 장난감 스크린샷 몇 개 여기 있다, 미안하지만 아직 그 코드는 공개하지 못했다; 다른 것들과는 품질이 좀 다르다. [3]
EDIT: ds4go TUI 스크린샷 gist 추가 [4]
[1] https://github.com/NimbleMarkets/ds4/releases/tag/v0.8.20260...
[2] https://github.com/nimblemarkets/ds4go#install
[3] https://gist.github.com/neomantra/ae47422c8daf7a458212c93992...
[4] https://gist.github.com/neomantra/40180ade13df93290250ce8c6d...
- twoodfin
https://github.com/antirez/ds4
프로젝트 GitHub 페이지가 hn 사람들에게는 훨씬 더 나은 소개다.
- simoiacos
비교할 만한 건 아니지만 DwarfStar에서 영감을 받아 Intel Xe-LP(XMX 없음) 32GB 노트북용 작은 추론 엔진을 하나 작성했다. 지금 지원하는 모델은 양자화된 Gemma-4뿐이지만, 앞으로 비슷한 크기의 다른 MoE도 지원하는 걸 배제하지 않는다. 아직 Qwen 3.8 35B-A3B가 없는 게 아쉽다.
프로토콜과 엔진을 확장해서 다양한 steering 기법을 지원하는 것도 살펴보고 있다.
- ttoinou
deepseek v4 flash와 함께 처음 출시됐을 때부터 이걸 써왔는데, 내 m5 max 128gb에서 역대 최고의 런처다
이제는 qwen 3.8 flash next를 일주일 넘게 돌리고 있는데 아주 잘 돌아가고, 정말 빠르고 컨텍스트 윈도우도 엄청 길다. 가끔 모델이 내가 앞서 한 말을 기억하지 못하는 멍청한 짓을 하는데, agentic AI harness 쪽 문제일 수도 있다. 나는 oh my pi를 쓰고 있는데, 여기 사람들은 ds4를 뭐랑 같이 쓰는지 궁금하다?
- gchamonlive
DeepSeek V4 Flash(실험적 vision 모델 포함), DeepSeek V4.1 Flash(Metal, 그리고 CUDA에서의 텍스트 추론)를 우선으로 최적화된 작은 네이티브 추론 엔진이고, 추가로 GLM 5.2와 5.3, GLM 5.3 Flash와 DeepSeek V4 PRO, 그리고 Qwen3.8 Flash Next(Metal 및 CUDA)도 지원한다
이건 DGX Spark나 AMD Ryzen AI Halo 같은 하이엔드 소비자 하드웨어를 겨냥한 로컬용이다.
얼마 전까지만 해도 애였고 Qwen3.8 27b를 겨냥한 x090 시리즈를 손에 넣었다는 게 믿기지 않는 우리 범인들에게는 https://github.com/noonghunna/club-3090 이 정답이다.
나는 이걸 위한 웹 프론트엔드를 유지보수하려고 노력 중이다. 여기서 따라갈 수 있다: https://github.com/gchamon/club-3090-server