DeepSeek V4 FlashをAMD MI300X 1枚で168.6 tok/sで稼働させる設定を公開

DeepSeek V4 Flash on a Single AMD MI300X

AMD MI300X 1枚でDeepSeek V4 Flashを本番運用するための設定とパッチをまとめたリポジトリが公開された。vLLM ROCm nightlyとAITERを組み合わせ、FP8形式の違いやMoEルーティングのバグなど、MI300X特有の問題を修正。その結果、単一ストリームで168.6 tok/s、プリフィルは最大8.5K tok/sを達成し、追加の量子化やオフロードなしで256Kコンテキストを処理できる。HBM 192GBを活かし、コストもH100の約半分とされる。