Спекулятивное декодирование ускоряет LLM не потому, что работы становится меньше

Why Is Speculative Decoding Fast?

Спекулятивное декодирование часто понимают неправильно: считается, что оно ускоряет генерацию за счёт меньшего числа операций. На самом деле FLOPs становится больше. Выигрыш в скорости объясняется тем, что при малом размере батча обычное декодирование упирается в память, а GPU простаивает. Спекулятивное декодирование загружает этот «бесплатный» вычислительный ресурс, позволяя за один проход проверить несколько токенов. При больших батчах оно, наоборот, может вредить, поэтому в vLLM есть параметр для его отключения.