MiMo-V2.5 추론 최적화: Hybrid SWA 효율의 한계를 뛰어넘다

Inference Optimization for MiMo v2.5: Pushing Hybrid SWA Efficiency to the Limit

Xiaomi의 MiMo-V2.5 시리즈는 Hybrid SWA, 희소 MoE, 멀티모달 인코더를 결합하여 긴 컨텍스트와 멀티모달 시나리오에서 효율성을 극대화하도록 설계되었습니다. 이 글은 이론적 이점을 실제 생산 환경에서 실현하기 위한 엔드투엔드 추론 시스템 최적화를 다룹니다. KVCache 관리를 위한 이중 풀 설계, SWA 인식 프리픽스 캐시 트리, 계층별 프리페치, 분산 캐시 일관성, GCache 인프라, Prefill/Decode 파이프라인 및 멀티모달 최적화를 포함합니다. 이를 통해 KVCache 용량 효율을 약 7배 향상시키고, 긴 시퀀스에서 추론 비용을 크게 절감합니다.