La decodificación especulativa es rápida porque hace más trabajo, no menos
Why Is Speculative Decoding Fast?
La decodificación especulativa no acelera la generación por reducir los FLOPs: de hecho, ejecuta más operaciones para la misma secuencia. La clave está en el tipo de trabajo que realiza la GPU. Con un solo token por paso, el decodificado está limitado por la memoria; al verificar varios tokens de borrador en paralelo, se convierte en un trabajo limitado por el cómputo, aprovechando capacidad que antes se desperdiciaba. Funciona con lotes pequeños, pero a alto throughput puede volverse un gasto inútil, de ahí que vLLM permita desactivarla según el tamaño del lote.
Una de las cosas contraintuitivas de la decodificación especulativa es que, en realidad, ¡haces más trabajo! El número total de operaciones en coma flotante (FLOPs) que ejecutas aumenta para la misma secuencia.