Decodificación especulativa en vLLM sobre GPUs AMD: un análisis práctico
Speculative Decoding in vLLM on AMD GPUs
La decodificación especulativa permite a vLLM verificar múltiples tokens propuestos en una sola pasada del modelo objetivo, pero su efecto en el rendimiento varía según el método de borrador y la longitud de la propuesta. Este análisis explora cinco enfoques—MTP nativo, MTP de Gemma 4, EAGLE-3, DFlash y DSpark—y presenta mediciones en GPUs AMD Instinct MI300X y MI355X con ROCm. Los resultados muestran que el rendimiento depende del modelo, el checkpoint de borrador, la carga de trabajo y la tasa de aceptación, ofreciendo pautas para ajustar y observar el sistema en producción.
Cuando varios tokens de borrador son aceptados, el sistema puede confirmar múltiples tokens de salida en un solo paso de verificación del modelo objetivo, preservando el comportamiento de salida del modelo.
- intothemild
Aunque esta es una excelente publicación de vLLM, una de las cosas realmente desconcertantes, ya sea de su equipo o del equipo de AMD, es cuánto se ha ignorado la r9700 de AMD de grado de estación de trabajo. vLLM estándar se ejecuta muy lentamente en estas tarjetas en comparación con forks de vLLM como Radiance. Pasando de, digamos, 20-30 t/s de generación a 150-200 t/s. La mayor parte del trabajo de AMD/vLLM parece centrarse en sus tarjetas de centro de datos, o en AMD AI Halo/Ryzen, e ignora la R9700 AI Pro. De verdad desearía que esto cambiara.
- flufluflufluffy
Esto está muy fuera de mi área de especialización, así que puede ser una pregunta tonta, pero ¿cómo verifica el modelo objetivo los tokens candidatos? Ingenuamente, supongo que debe realizar su decodificación autorregresiva normal para saber cuál es el token "correcto" y así tener algo con qué comparar el token candidato. Pero obviamente eso anularía el propósito de la decodificación especulativa, así que debe haber otra forma. Además, ¿cuál es la diferencia entre "target model" y "target-model", si es que hay alguna? Siento que la mitad de las instancias de esa frase incluían el guion y la otra mitad no.
- myuzio
Muy cierto, lo veo por ejemplo cuando mis compañeros de trabajo aplican DRY sin pensar realmente en la complejidad que podría causar. Objetivamente hace que el código sea más pequeño, pero a menudo conlleva un costo de complejidad.
- jeanmichelselli
En mi opinión, los LLM son uno de los resultados más fascinantes del aprendizaje automático en los últimos años. Quita el bombo que los rodea y quédate con las matemáticas, y rápidamente verás el enorme potencial transformador que tienen. Es genial ver mucha investigación en esa dirección, aunque desearía que viniera principalmente del ámbito académico.