投機的デコーディングが速いのは「計算量が減る」からではない

Why Is Speculative Decoding Fast?

投機的デコーディングはトークンあたりの計算を減らすから速い、というのは誤解だ。実際には同じ系列に対して実行するFLOPsはむしろ増える。速さの秘密はGPUが行う仕事の「種類」にある。1トークンずつ生成する通常のデコーディングはメモリ帯域に縛られ計算資源を持て余している。投機的デコーディングはその余った計算を検証に回し、小さいバッチサイズでの生成を加速する。ただし高スループット時には逆効果になり得る。