MiMo-V2.5: Hybrid SWA senkt Inferenzkosten auf 1/7
Inference Optimization for MiMo v2.5: Pushing Hybrid SWA Efficiency to the Limit
Die MiMo-V2.5-Serie von Xiaomi kombiniert Hybrid Sliding Window Attention (SWA), sparse MoE-Aktivierung und multimodale Encoder. In der Praxis erfordert die Architektur jedoch umfangreiche Optimierungen, um ihr theoretisches Potenzial auszuschöpfen. Dieser Artikel beschreibt die End-to-End-Inferenzoptimierung: ein duales KVCache-Pool-Design, das die Speicherung auf 1/7 reduziert, ein SWA-bewusster Prefix-Cache-Baum, der korrekte Cache-Treffer gewährleistet, sowie Strategien für Prefetch, Scheduling und multimodale Verarbeitung. Die Maßnahmen verbessern die Effizienz bei langen Kontexten und multimodalen Szenarien erheblich.
Die Vorteile sind bei kurzen Sequenzen marginal, aber je länger die Sequenz, desto größer der Inferenzkostenvorteil.