Kimi Linear、フルアテンションを凌駕する新アーキテクチャ

Kimi Linear: An Expressive, Efficient Attention Architecture (2025)

Kimi Linearは、Kimi Delta Attention（KDA）を中核とするハイブリッド線形アテンションアーキテクチャです。このモデルは、短文脈から長文脈、RLスケーリングに至るまで、あらゆるシナリオでフルアテンションを凌駕します。KVキャッシュ使用量を最大75%削減し、1Mコンテキストで6倍のデコードスループットを実現しました。