vLLM が AMD GPU 上で投機的デコーディングを検証、スループットは手法次第
Speculative Decoding in vLLM on AMD GPUs
vLLM チームが AMD Instinct MI300X/MI355X GPU と ROCm 上で、投機的デコーディングの出力トークンスループットへの影響を調査。ネイティブ MTP、Gemma 4 MTP、EAGLE-3、DFlash、DSpark の5つのドラフト手法を比較し、その効果はモデルファミリーやドラフトチェックポイント、ワークロード、受理率に依存することが判明。各手法の仕組みと有効化方法、チューニングの実践的な考慮事項も解説する。
投機的デコーディングは、複数のドラフトトークンを単一のターゲットモデルパスで検証できるようにする。
HNでの議論
52- intothemild
これはvLLMからの優れた投稿ではあるが、彼らのチームかAMDのチームのどちらかによる、本当に不可解なことの一つは、ワークステーション向けのAMD R9700がどれほど無視されてきたかということだ。標準のvLLMは、RadianceのようなvLLMフォークと比較すると、これらのカードでは非常に遅く動作する。例えば、生成速度が20-30トークン/秒から150-200トークン/秒に向上する。AMD/vLLMの作業のほとんどは、データセンター向けカードか、AMD AI Halo/Ryzenを中心に行われており、R9700 AI Proは無視されている。本当にこの状況が変わってほしい。
- flufluflufluffy
これは私の専門分野をはるかに超えているので、愚かな質問かもしれませんが、ターゲットモデルは候補トークンをどのように検証するのでしょうか？素朴に考えると、候補トークンと比較するための「正しい」トークンを知るために、通常の自己回帰デコードを実行する必要があると思います。しかし、明らかにそれは投機的デコードの目的を無効化するので、何か別の方法があるはずです。また、「target model」と「target-model」の違いは何かあるのでしょうか？そのフレーズの半分はハイフンが含まれ、半分は含まれていないように感じます。
- myuzio
まったくその通りです。例えば、同僚がDRYを適用するときに、それが引き起こすかもしれない複雑さを実際に考えずに適用するのを見かけます。それは客観的にコードを小さくしますが、しばしば複雑さのコストが伴います。
- jeanmichelselli
私の意見では、LLMは近年の機械学習から生まれた最も魅力的な成果の一つです。それらを取り巻く誇大広告を取り除き、数学に固執すれば、それらが持つ巨大な変革の可能性がすぐにわかります。その方向での研究が多く行われているのを見るのは素晴らしいことですが、それが主に学界から来ることを願っています。