Kimi Linear: Eine neue, effiziente Attention-Architektur für KI-Modelle
Kimi Linear: An Expressive, Efficient Attention Architecture (2025)
Wir stellen Kimi Linear vor, eine hybride lineare Attention-Architektur, die Full Attention in verschiedenen Szenarien übertrifft. Unser Ansatz nutzt Kimi Delta Attention und ein spezialisiertes chunkwise Algorithmus für hohe Hardware-Effizienz. Mit einem 3B-Modell erreichen wir bis zu 6-fache Decodiergeschwindigkeit bei 1M Kontext und reduzieren den KV-Cache um 75%, was Kimi Linear zu einer leistungsstarken Alternative macht.
Kimi Linear kann als direkter Ersatz für Full Attention-Architekturen dienen und bietet dabei überlegene Leistung und Effizienz, selbst bei Aufgaben mit längeren Eingabe- und Ausgabelängen.
- senko
Alt, aber relevant: Wenn ihr euch das kürzlich veröffentlichte Kimi K3-Paper[0] anschaut, werdet ihr feststellen, dass es stark auf dem hier diskutierten Kimi Linear basiert, es hochskaliert und eine Menge weiterer Dinge hinzufügt (wie native Vision und RL-Verbesserungen).
- bratao
Ich habe damit begonnen, interne Modelle zu erstellen, dann kam das Gated Deltanet 2 heraus (https://arxiv.org/abs/2605.22791), und es scheint eine Weiterentwicklung in Bezug auf die Ausdrucksfähigkeit zu sein. Und in unseren Tests ist es wirklich besser.
- pooyamo
Weiß ein Experte auf diesem Gebiet, ob es wirklich der Fall ist, dass die Intelligenz, die wir bei Frontier-Modellen sehen, ein "emergierendes" Phänomen ist, das nur auftritt, wenn die Architektur skaliert wird?
Ist es nicht seltsam, dass ein Modell mit 1 Million Parametern mit derselben Architektur keine einfachen Rätsel lösen kann, aber plötzlich ein Modell mit 1 Billion Parametern Gegenbeispiele für die Jacobische Vermutung herbeizaubern kann?
Es ist kontraintuitiv, denn soweit ich weiß, war eines der Grundprinzipien der Algorithmenentwicklung, dass man sich bei komplexen Problemen nicht einfach durch Brute-Force eine Lösung erarbeiten kann. Zum Beispiel werden naive Sortieralgorithmen Quicksort nicht schlagen, nur weil man mehr Rechenleistung darauf anwendet. Doch in der modernen LLM-Szene scheint es, als wären die Leute in einem Wettlauf, um alles hochzuskalieren, empirisch zu experimentieren und darauf zu hoffen, dass derselbe Algorithmus/dieselbe Architektur zu einer Lösung führt.
- oakpond
> Um weitere Forschung zu unterstützen, stellen wir den KDA-Kernel und die vLLM-Implementierungen als Open Source zur Verfügung und veröffentlichen die vorab trainierten sowie instruktionsabgestimmten Model-Checkpoints.
Das ist einfach großartig.
- delichon
Wenn ihr glauben wollt, dass der Erfolg von Kimi auf Distillation-Angriffen beruht, ignoriert dies.