Kimi Linear、フルアテンションを凌駕する新アーキテクチャ
Kimi Linear: An Expressive, Efficient Attention Architecture (2025)
Kimi Linearは、Kimi Delta Attention（KDA）を中核とするハイブリッド線形アテンションアーキテクチャです。このモデルは、短文脈から長文脈、RLスケーリングに至るまで、あらゆるシナリオでフルアテンションを凌駕します。KVキャッシュ使用量を最大75%削減し、1Mコンテキストで6倍のデコードスループットを実現しました。
Kimi Linearは、より優れたパフォーマンスと効率性を備え、フルアテンションアーキテクチャのドリップインリプレースメントとなり得ます。
HNでの議論
133- senko
少し古いですが、関連する話です。最近公開された Kimi K3 の論文 [0] を読むと、ここで議論されている Kimi Linear をベースに、それをスケールアップして、ネイティブビジョンや RL の改善など多数の機能を追加していることがわかります。
- bratao
まず内部モデルの作成にこれを使いはじめましたが、その後 Gated Deltanet 2（https://arxiv.org/abs/2605.22791）が発表され、表現力においてその進化版のように見えます。私たちのテストでは、明らかにこちらの方が優れていました。
- pooyamo
この分野の専門家の誰か、現在のフロンティアモデルで見られる知能が、アーキテクチャをスケールアップしたときにのみ現れる「創発的」な現象であるという説が本当に正しいのか教えていただけますか？
同じアーキテクチャの 100 万パラメータのモデルでは基本的なパズルも解けないのに、1 兆パラメータになると突然ヤコビ予想の反例を思いつくようになるなんて、奇妙に思いませんか？
私の知る限り、アルゴリズム開発の基本原理の一つに、複雑な問題に対しては単に計算力を投入するだけで解決策にたどり着けないというものがあります。例えば、単純なソートアルゴリズムに処理能力を投入してもクイックソートを上回ることはあり得ません。しかし、現代の LLM の界隈では、同じアルゴリズムやアーキテクチャが解決策を見つけることを期待して、経験的に実験を繰り返しながらスケールアップ競争をしているように見えます。
- oakpond
「さらなる研究を支援するために、KDA カーネルと vLLM の実装をオープンソース化し、事前学習済みおよび指示チューニング済みのモデルチェックポイントを公開します。」
これは素晴らしいことです。
- delichon
Kimi の成功が蒸留攻撃によるものだと思い込みたいなら、これを無視してください。