Kimi Linear, 전방위 성능과 효율성을 동시에 달성한 새로운 아키텍처
Kimi Linear: An Expressive, Efficient Attention Architecture (2025)
저희는 Kimi Linear라는 하이브리드 선형 어텐션 아키텍처를 소개합니다. 이 모델은 짧은 문맥부터 긴 문맥, RL 스케일링까지 다양한 시나리오에서 기존 풀 어텐션을 능가합니다. 핵심인 Kimi Delta Attention(KDA)은 제한된 메모리를 더 효과적으로 활용하며, 특수화된 알고리즘을 통해 KV 캐시 사용량을 최대 75% 줄이고 디코딩 속도를 6 배까지 높였습니다.
Kimi Linear는 더 긴 입력과 출력 길이를 가진 작업 포함하여, 모든 성능과 효율성 측면에서 풀 어텐션 아키텍처를 대체할 수 있는 드롭인 솔루션이 될 수 있습니다.