RTX 4090 1枚で Qwen3.6-35B が6.4倍速、手法とリポジトリを全公開

6-11X speedup running Qwen3.6 on my RTX 4090, full repo.

RTX 4090 1枚で Qwen を高速化する実験ラボ lightreason の公開リポジトリ。Qwen2.5-3B は 63.0→139.6 tok/s、Qwen3.6-35B は上限付き Python プロンプトで 7.93→51.08 tok/s（6.44倍）を記録した。35B は専門家の重みをシステム RAM に置きつつ必要な分だけ GPU へ移し、ドラフトが予測した複数トークンをまとめて検証する。最終判断は常に元の BF16 モデルが行う。