Spekulative Dekodierung ist nicht schneller, weil sie weniger Arbeit macht – sondern weil sie die GPU anders auslastet

Why Is Speculative Decoding Fast?

Spekulative Dekodierung beschleunigt LLMs, obwohl sie die Gesamtzahl der Floating-Point-Operationen erhöht. Der Grund: Beim Einzel-Token-Dekodieren ist die GPU speichergebunden und verschwendet Rechenleistung. Spekulative Dekodierung nutzt diese freie Rechenkapazität, um mehrere Tokens parallel zu prüfen. Bei kleinen Batch-Größen bringt das enorme Geschwindigkeitsvorteile, bei hohem Durchsatz kann es jedoch kontraproduktiv sein – vLLM erlaubt deshalb das gezielte Abschalten.