RTX 4090 한 장으로 Qwen을 최대 11배 빠르게 돌리는 Lightreason 공개
6-11X speedup running Qwen3.6 on my RTX 4090, full repo.
Lightreason은 RTX 4090 한 장에서 Qwen을 더 빠르게 실행하는 로컬 추론 실험실이다. Qwen2.5-3B-Instruct는 63.0에서 139.6 tok/s로, 특정 워크로드에서는 최대 11.40배까지 빨라졌다. 64.56 GiB에 달하는 Qwen3.6-35B-A3B는 전문가 가중치를 시스템 RAM에 두고 필요한 것만 옮겨 7.93에서 51.08 tok/s까지 끌어올렸다. CUDA Graphs, PARD2, DFlash2, FreeToken 등 기존 기법을 조합했고, 최종 토큰 결정은 원본 BF16 모델이 내린다.
원본 BF16 Qwen 타깃이 모든 최종 토큰 결정을 내린다.
- shutty
좋네요. 그런데 벤치마크에 strata와 llamacpp도 포함해 주면 좋겠어요. 그게 아니면 아무도 안 쓰는 베이스라인 대비 11배 빨라진 것뿐이잖아요
- kennywinker
멋지긴 한데, 4090에서 잘 돌아가는 qwen3.8-flash.next 대신 qwen3.6-35b-a3b를 돌리고 싶어 하는 건 뭐 하고 계신 거예요?