DFlash 2:並列ドラフトで推論をさらに高速化、検証1回あたりの出力が20%以上増加
DFlash 2: Keep Drafting Parallel

Inco AIがDFlash 2を発表。DFlashは投機的デコードで並列ドラフトを実現し、NVIDIA Blackwellで最大15倍、Google TPUで3倍のスループット向上を達成。DFlash 2はパス選択と畳み込みにより、検証パスあたりの出力を20%以上増加させ、遅延は約1%増加のみ。Qwen3.8-27Bドラフターでは、バッチサイズ1で自己回帰デコードの2.7〜3.4倍のスループットを実現。SGLang、vLLM、llama.cpp、oMLXで利用可能。
選択は予測よりも安価である。