RTX 4090 跑 Qwen3.6 提速 11 倍

6-11X speedup running Qwen3.6 on my RTX 4090, full repo.

在单张 RTX 4090 显卡上，Lightreason 项目让 Qwen2.5-3B 和 Qwen3.6-35B 的推理速度实现了 6 到 11 倍的飞跃。通过结合 NVIDIA CUDA Graphs、AMD PARD2 以及 Inco AI DFlash2 等现有技术，该方案在保持 BF16 精度的同时，大幅优化了 GPU 工作复用和 KV 缓存策略。对于 35B 大模型，系统巧妙地将专家权重保留在系统内存中，仅按需加载，配合多 token 并行验证机制，显著降低了延迟。项目不仅提供了完整的代码仓库，还内置了交互式 Studio，让用户能直观对比 Standard 与 Lightreason Exact 的生成效果与耗时，为本地高效部署大模型提供了极具价值的参考方案。