GPU 없이 64GB RAM에서 284B DeepSeek를 돌린다
Llama-modchip: 284B DeepSeek on 64GB RAM, no GPU
llama-modchip은 284.33B 규모의 DeepSeek-V4-Flash를 56.56GiB로 압축해 64GB CPU 머신에서 256K 컨텍스트로 실행한다. SwiGLU-H2 2차 헤센 압축과 Fractal-64 MLA 트랜스코딩, AVX-512BW 레지스터 타일링으로 사전 처리 44.4 tok/s, 디코드 9.1~14.7 tok/s를 GPU 0개로 달성했다. 30B MoE는 25~111 tok/s, Claude Code 도구 복원은 13ms 수준이다.
기존 IQ2_XXS(76.87GiB)는 64GB 리눅스에서 OOM으로 죽지만, 이 모델은 56.56GiB로 줄어 전체 284B 모델과 256K 컨텍스트가 RAM 안에 들어간다.
HN 토론
204- kennywinker
로컬 AI 시스템의 하한선은 계속 낮아지는데, RAM과 GPU 가격은 계속 오르고 있죠. 스레드가 많은 E5 워크스테이션에 300달러어치 RAM, 최소 100달러짜리 GPU를 붙이면 >100tok/s+ 프롬프트 처리와 Qwen3.8-flash-next:IQ3_S로 ~20tok/s 출력이 나옵니다. 여기에 500달러 GPU를 추가하면 겨우 쓸만한 수준에서 기분 좋게 성능이 나오는 수준으로 바뀌죠. 800달러 미만으로 1년 전 SOTA 수준과 맞먹는 걸 갖게 되는 겁니다.
클로드 구독을 어떻게 정당화할 수 있는지 모르겠네요. 당신의 일자리를 자동화하려는 사람들에게 생계 수단을 위한 도구를 임대하고 싶으신가요?
- aappleby
바보 같은 질문일 수 있는데, 이 AI가 생성한 저장소가 실제로 _뭔가를_ 하나요?
Nemotron에서 비교해보니 CPU에서 그냥 오래된 llama.cpp랑 거의 똑같이 돌아갑니다(프리필은 훨씬 빠른 것 같지만). "modchip setup"에서 DeepSeek를 설정하는 옵션이 안 보여서 아직 그건 테스트 못 해봤네요.
수정: Ryzen 7945hx 16코어 Zen 4 + 96GB DDR5 환경입니다.
- armcat
공격적인 양자화에서 명심할 점은, 경험적으로 입증된 바에 따르면 [1] (1) 양자화는 비선형적인 성능 특성을 보이고, (2) 일반적으로 크기 대 성능 비율의 최적점은 4비트에서 나타나며, 그보다 낮으면 성능이 크게 떨어진다는 겁니다.
또한 저는 지난 2년간 음성 모델을 가지고 놀아왔는데, 제 기준으로는 8비트 미만이면 품질이 엄청나게 떨어집니다. 그래서 LLM과 다른 맞춤형 모달리티 모델의 양자화는 1:1로 같지 않습니다.
[1] "Reliability Scaling Laws for Quantized Large Language Models", TUM, https://arxiv.org/pdf/2607.10855
- sparse-Matrix
제 Ryzen 7 5700U/64GB DDR4에서 꽤 잘 돌아갑니다.
꾸준히 12~14 TPS 나오네요.
결코 엄청 빠르진 않지만, 15W 전력 소모로 의미 있는 개인 작업을 하기엔 충분히 빠릅니다.
- antirez
이걸 맥락에 비춰보면, 128GB 통합 RAM이면 훨씬 빠르게도 돌릴 수 있습니다: https://x.com/antirez/status/2119392658661749175
코딩 에이전트로 쓸 만큼 허용 가능한 속도로요. 답글 뒤쪽에 프리필이 ~300 t/s인 걸 볼 수 있는데, 더 큰 프리필에서는 훨씬 더 빨라질 수 있습니다.
- boredatoms
양자화가 아마 가장 중요한 정보인데, 빽빽한 말의 잡탕에서는 전혀 명확하지 않네요.
- akie
어떤 양자화인가요? 그게 제가 알고 싶은 유일한 것입니다.
수정: 2비트인 것 같네요? 그렇다면 출력 품질이 궁금하네요. 별로 좋지 않을 것 같습니다.
- SillyUsername
흥미롭네요. 가중치 스트리밍이 성공했거나, 특수 양자화/처리 전 압축 해제를 하는 llama.cpp 포크가 꽤 많습니다.
- Bonsai Qwen 3.8 27B
- Strata
- Pulsar
- 이거...
업스트림 Llama.cpp가 PR을 더 빨리 받아들였으면 좋겠어요. 하루에도 여러 번 빌드하는데, PR 백로그가 제가 확인했을 때 1.7K였는데, 몇몇 자원봉사자로 리뷰하기엔 터무니없이 비현실적인 숫자입니다.
Qwen 3.8 Bonsai 기능을 지켜봤는데, 생성부터 리뷰까지 3주 넘게 걸렸고, 그마저도 다운스트림에서 고친 버그 패치가 포함되지 않았고, 그들은 과정이 너무 힘들어서 업스트림에 푸시하는 걸 그냥 포기했습니다.
그래서 모델 지원이 지연되거나 누락되고, Bonsai의 Hadamard Folding처럼 반쯤 동작하는 구현이 나오고, 새 모델들은 이런 최적화에서 손해를 봅니다.
프로젝트가 포크들의 레퍼런스 프로젝트가 되고 이런 특수화를 장려하려는 의도라면 괜찮겠지만, 그건 의도한 게 아닌 것 같네요.
적어도 llamaswap을 써서 추론 엔진과 모델을 즉석에서 저글링하고, 3~4개를 설치해야 한다는 사실을 추상화할 수는 있습니다.