AMD GPU에서 vLLM의 추측 디코딩 성능 분석
Speculative Decoding in vLLM on AMD GPUs
vLLM 블로그는 AMD Instinct MI300X 및 MI355X GPU에서 ROCm 플랫폼을 사용하여 추측 디코딩의 출력 토큰 처리량에 대한 실험 결과를 공유합니다. 네이티브 MTP, Gemma 4 MTP, EAGLE-3, DFlash, DSpark 등 다섯 가지 드래프팅 방법을 비교했으며, 각 방법의 성능은 모델 계열, 드래프트 체크포인트, 작업 부하, 수락 동작에 따라 달라졌습니다. 또한 각 방법의 작동 방식과 vLLM에서 활성화하는 방법, 실용적인 튜닝 및 관찰 가능성 고려 사항을 설명합니다.
추측 디코딩은 원래 모델을 대체하지 않습니다. 대신 원래 모델을 최종 출력을 담당하는 타깃 모델로 유지하고, 그 앞에 더 빠른 제안 단계를 추가합니다.
HN 토론
52- intothemild
vLLM의 이 훌륭한 게시물에도 불구하고, vLLM 팀이나 AMD 팀 중 어느 쪽에서든 정말 당황스러운 점 중 하나는 워크스테이션급 AMD r9700이 얼마나 무시당해 왔는지입니다. 기본 vLLM은 Radiance 같은 vLLM 포크에 비해 이 카드들에서 정말 느리게 실행됩니다. 예를 들어 생성 속도가 20-30t/s에서 150-200t/s로 향상됩니다. AMD/vLLM의 대부분의 작업은 데이터센터용 카드나 AMD AI Halo/Ryzen에 집중되어 있고 R9700 AI Pro는 무시하고 있습니다. 정말 이 상황이 바뀌었으면 좋겠습니다.
- flufluflufluffy
이건 제 전문 분야를 훨씬 벗어나서 어리석은 질문일 수도 있는데, 대상 모델이 후보 토큰을 어떻게 검증하나요? 순진하게 생각하면, 비교할 '올바른' 토큰을 알기 위해 정상적인 자동 회귀 디코딩을 수행해야 할 것 같습니다. 하지만 당연히 그렇게 하면 추측 디코딩의 목적이 무산되므로 다른 방법이 있을 것입니다. 또한, 'target model'과 'target-model' 사이에 차이가 있다면 무엇인가요? 이 표현의 절반은 하이픈이 있고 절반은 없는 것 같은 느낌이 듭니다.
- myuzio
맞는 말입니다. 예를 들어 제 동료들이 초래할 수 있는 복잡성을 실제로 고려하지 않고 DRY를 적용할 때 그런 경우를 봅니다. 객관적으로 코드를 더 작게 만들지만, 종종 복잡성 비용이 따릅니다.
- jeanmichelselli
제 생각에 LLM은 최근 몇 년간 머신러닝에서 나온 가장 매혹적인 결과 중 하나입니다. 그 주변의 과대광고를 걷어내고 수학에 집중하면, 그들이 가진 엄청난 변혁적 잠재력을 곧 알 수 있습니다. 그 방향으로 많은 연구가 이루어지고 있는 것을 보니 좋지만, 주로 학계에서 나왔으면 합니다.