125B 파라미터 AI 모델, 이제 게이밍 PC에서 돌린다
Run Qwen 3.8 Flash Next (125B) on consumer hardware (RTX 4090) at 100T/s

Strata는 Qwen3.8-Flash-Next 125B 모델을 12GB 이상 VRAM을 갖춘 일반 게이밍 PC에서 실행하는 오픈소스 추론 엔진이다. RTX 5070에서 초당 94토큰, RTX 3090에서는 100-140토큰을 생성한다. 24,576개의 전문가를 GPU, RAM, CPU, SSD에 분산하고, 추측-검증 기법으로 1.6-1.8배 속도를 높였다. OpenAI/Anthropic 호환 API를 localhost에서 제공해 코딩 에이전트와 연동되며, 이미지 입력도 지원한다.
모델은 24,576명의 작은 전문가 팀과 같다. 각 단어에는 그중 10명만 필요하다.
HN 토론
411- a11r
4비트 이하 퀀트로 내려가는 건 품질이 크게 저하될 가능성 때문에 좀 회의적입니다. 저는 약 $1/시간에 빌린 RTX Pro 6000에서 4비트 퀀트를 돌리고 있고, 캐싱을 포함해 시간당 약 120만 토큰 출력과 4000만 토큰 입력을 처리하고 있습니다. 4비트 퀀트의 품질은 어렵지만 범위가 명확한 코딩 작업에는 충분히 좋습니다. 제가 사용하는 추론 스택은 여기 있습니다: https://www.reddit.com/r/BlackwellPerformance/s/FrKwk3GoDK
- cjdell
이건 게임 체인저입니다. 제 R9700 32GB가 이제 Qwen-3.8-27B를 쓸 때보다 더 똑똑하고 약 2배 빠릅니다. 96GB DDR4와 결합하면 약 60 t/s 정도 나옵니다. 메인보드가 PCIe Gen3로 제한돼 있어서 아마 그게 병목일 겁니다.
Nix 쓰시는 분들을 위해:
https://github.com/cjdell/nixos-config/blob/main/hosts/zen3-...
GMKTec M6 Ryzen 6600H의 iGPU에서도 합리적인 속도(10 t/s)로 돌아가게 만들었습니다. 자기 전에 프롬프트를 던져두고 자고 일어나면 해답을 받을 수 있을 만큼 빠릅니다.
- Jackson__
간단한 50장 이미지 비전 벤치마크에서 Strata를 방금 테스트해봤습니다. 작업은 요청한 객체의 정확한 좌표를 출력하는 것입니다. Strata를 통한 결과는 중앙값 오차 거리 154.8픽셀, 평균 168.8이었습니다. 완전히 동일한 GGUF와 비전 어댑터 가중치를 llama.cpp에서 돌리면 중앙값 오차 46.5, 평균 81.4가 나옵니다.
맥락을 잡자면, llama.cpp를 통한 다른 모델들의 수치도 몇 개 더 있습니다:
중앙값/평균
Qwen 3.5 9B BF16: 46.5 / 193.3
Qwen 3.6 35B Q4 K XL: 38.4 / 76.4
Qwen 3.5 122B Q3 K M: 32.9 / 68.6
비전 성능 차이가 9B 모델에서 35B 모델로 점프한 것만큼이나 큽니다. 모든 테스트는 temp=0에서 수행했습니다.
이 결과가 제 예상과 완벽하게 일치하기 때문에 더 이상의 테스트는 하지 않았습니다.
- snehesht
시도해봤는데 놀랄 만큼 잘 작동했습니다. 제 머신(Nvidia 4090, 128GB DDR5, Ryzen 7950x3d)에서 초당 124 토큰이 나오는데, 여기에 공유하고 싶었습니다.
- slashtom
128GB M5 Max에서 mtplx와 함께 Qwen 3.8 Flash Next를 쓰니 정말 훌륭합니다. 풀 컨텍스트에서 약 72tok/s가 나오고, 제 경우 프런티어 모델들을 대체했습니다.
- AntiRush
저는 RTX 6000 pro에서 ds4의 이 모델 지원 작업을 해왔는데, 제 사용 사례에 정말 좋았습니다. ds4 q4 퀀트는 제가 본 비슷한 크기들보다 훨씬 잘 수행됩니다.
RTX 6000 Pro Workstation Edition에서 450와트로 Q4 퀀트를 사용하면:
코드: prefill 1,251 tok/s decode 255.26 tok/s
산문: prefill 1,251 tok/s decode 198.78 tok/s
저에게 가장 중요한 건, 400+ tok/s로 4개의 동시 스트림을 돌릴 수 있다는 점입니다.
- kamranjon
Dwarfstar는 이미 이걸 지원하는데, 어떻게 비교되는지 궁금하네요. 저는 q4 퀀트를 매일 쓰고 있고 정말 잘 작동합니다.
https://github.com/antirez/ds4/blob/main/docs/MODELS.md#qwen...
- jacquesm
전 세계 LLM 스레드가 Strata 링크로 도배되고 있습니다. 허니문 기간이 끝나면 이 열광적인 과대광고가 얼마나 남아 있을지는 두고 봐야 합니다. 저도 써봤지만 지금까지 정확도 면에서 특별히 감탄할 만한 건 못 봤습니다. 속도는 확실히 있긴 하네요. 답변 품질이 덜 중요한 LLM 응용 사례도 분명 있겠지만 저에게는 그런 게 없습니다. 사람마다 다를 겁니다.
- lxe
왜 이런 종류의 expert caching이 아직 네이티브 llama.cpp에 없는 건가요? 왜 별도의 코드베이스가 필요한 거죠?
- SuperV1234
Opus급 모델을 로컬에서 돌릴 수 있는 날에 점점 가까워지고 있습니다. 꿈이죠!