Speculative Decoding 为何能加速 LLM？

Why Is Speculative Decoding Fast?

很多人误以为 Speculative Decoding 之所以快，是因为减少了计算量，其实恰恰相反，它做的 FLOPs 更多。真正的秘密在于改变了 GPU 的工作性质：传统 LLM 解码是受内存限制（memory bound），GPU 大量时间在等待数据加载；而 Speculative Decoding 通过小模型生成草稿、大模型并行验证，将任务转化为受计算限制（compute bound），从而充分利用了 GPU 的闲置算力。特别是在小 batch size 场景下，这种用“广度”换“深度”的策略，让单序列能更快推进。不过在高吞吐场景下，若接受率不高，这种机制反而可能浪费算力，这也是 vLLM 等框架提供动态调整或关闭 Speculative Decoding 选项的原因。