Как vLLM ускоряет генерацию на AMD GPU: разбор спекулятивного декодирования
Speculative Decoding in vLLM on AMD GPUs
Спекулятивное декодирование — это техника, которая позволяет проверять несколько черновых токенов за один проход целевой модели, сокращая число шагов декодирования. В блоге vLLM представлены результаты экспериментов на GPU AMD Instinct MI300X и MI355X с использованием ROCm. Рассматриваются пять методов чернового декодирования: нативный MTP, Gemma 4 MTP, EAGLE-3, DFlash и DSpark. Показано, что влияние на пропускную способность зависит от метода, длины предложения, семейства моделей и других факторов. Приводятся практические рекомендации по настройке и наблюдению за производительностью.
Спекулятивное декодирование не заменяет исходную модель: она остается целевой моделью, отвечающей за конечный результат, а перед ней добавляется более быстрый этап предложения кандидатов.
- intothemild
Несмотря на то, что это отличный пост от vLLM, одна из действительно озадачивающих вещей — либо от их команды, либо от команды AMD — это то, насколько сильно игнорируется рабочая станция AMD R9700. Стоковый vLLM работает на этих картах очень медленно по сравнению с форками vLLM, такими как Radiance. Переход, скажем, с 20-30 токенов/с на 150-200 токенов/с. Большая часть работы AMD/vLLM, похоже, сосредоточена вокруг их дата-центровых карт или AMD AI Halo/Ryzen и игнорирует R9700 AI Pro. Очень хотелось бы, чтобы это изменилось.
- flufluflufluffy
Это далеко за пределами моей компетенции, так что, возможно, глупый вопрос, но как целевая модель проверяет токены-кандидаты? Наивно я бы предположил, что она должна выполнять своё обычное авторегрессионное декодирование, чтобы узнать, какой токен является «правильным», чтобы было с чем сравнивать токен-кандидат. Но очевидно, что это свело бы на нет цель спекулятивного декодирования, так что должен быть какой-то другой способ. Также, в чём разница между «target model» и «target-model», если она есть? Мне кажется, что половина случаев использования этой фразы содержит дефис, а половина — нет.
- myuzio
Очень верно, я вижу это, например, когда мои коллеги применяют DRY, не задумываясь о сложности, которую это может вызвать. Объективно код становится меньше, но часто это сопряжено с затратами на сложность.
- jeanmichelselli
На мой взгляд, LLM — один из самых захватывающих результатов машинного обучения за последние годы. Уберите вокруг них хайп и сосредоточьтесь на математике — и вы быстро увидите их огромный трансформационный потенциал. Замечательно видеть много исследований в этом направлении, хотя хотелось бы, чтобы они в основном исходили из академической среды.