MiMo-V2.5 の推論最適化：Hybrid SWA で推論コストを最大 7 分の 1 に

Inference Optimization for MiMo v2.5: Pushing Hybrid SWA Efficiency to the Limit

Xiaomi の MiMo-V2.5 シリーズは、Hybrid SWA（スライディングウィンドウアテンションとフルアテンションの併用）により、KVCache を約 7 分の 1 に削減し、長文脈とマルチモーダル推論の効率を飛躍的に高めます。本記事では、その理論上の利点を実運用で引き出すためのエンドツーエンドの最適化を解説。KVCache の二重プール設計、SWA 対応プレフィックスキャッシュツリー、レイヤー単位のプリフェッチ、分散キャッシュの整合性維持、マルチモーダルエンコーダのボトルネック解消など、具体的な実装とその効果を紹介します。