Context Language Models verwalten ihren Kontext selbst und übertreffen bisherige Strategien
Forscher stellen Context Language Models (CLMs) vor, die ihren Kontext als Datei behandeln und eigenständig aktualisieren. Ohne Training erzielen sie auf BrowseComp-Plus 11,4 % höhere Genauigkeit bei 21,5 % weniger FLOPs, auf EdgeBench 5 % bessere Ergebnisse bei 59 % weniger Rechenaufwand. Ein Online-Reinforcement-Learning-Verfahren steigert Qwen3.5-9B um 47,6 % bei 12 % weniger FLOPs. Zudem reduziert ein angepasster Suffix-Cache den Serveraufwand um 35 %.
Wir führen Context Language Models (CLMs) ein, Sprachmodelle, die ihren eigenen Kontext nativ verwalten.
- _jayhack_
_jayhack_: Ein Modell seinen eigenen Kontext verwalten zu lassen, ist sehr von der bitteren Lektion durchdrungen.
Die größte Herausforderung ist, dass man eine viel niedrigere Cache-Trefferquote bekommt, wenn man den Kontext/Präfix des Agenten häufig bearbeitet, sodass dies nicht effizient über z. B. die Anthropic API implementiert werden kann.
Das ^ kann prinzipiell gelöst werden, erfordert aber wahrscheinlich Änderungen an der Transformer-Architektur und definitiv an der Serving-Infrastruktur.
Siehe verwandt: "KV Cache Rules Everything Around Me": https://www.completeskeptic.com/p/kv-cache-rules-everything-...
- bob1029
bob1029: Ich wäre besorgt, dass Kontextmanagement begrenzte Aufmerksamkeitsressourcen verbraucht.
Willst du, dass dein Agent seine eigene Gedächtniskrise löst, oder willst du, dass er die eigentliche Aufgabe löst? Er kann wahrscheinlich beides gleichzeitig tun, aber ich vermute, dass damit nicht unerhebliche Kosten verbunden sind.
Ein separater Hypervisor-Agent, der den Kontext des Hauptagenten verwaltet, wäre meiner Erfahrung nach viel besser. Man kann ihn nach einem anderen Zeitplan laufen lassen, und der Hauptagent muss null Tokens dafür aufwenden, darüber nachzudenken. Das macht es auch viel einfacher zu kontrollieren, wann Caches verfehlt werden.
- imtringued
imtringued: Mama, können wir Deep-Equilibrium-(DEQ-)Transformer haben?
Nein, wir haben DEQ zu Hause.
DEQ zu Hause: Wir packen den Kontext einfach zuerst in eine Datei und fordern das Modell dann auf, sie zu bearbeiten.
- killerstorm
killerstorm: Verwandt: "Recursive Language Models" https://arxiv.org/abs/2512.24601
- svachalek
svachalek: Wow. Kontextmanagement ist eine der großen verbleibenden Plagen bei modernen LLMs, also könnte das groß werden. Die offensichtliche Komplikation ist Cache-Busting, daher ist es auch spannend, dass sie Lösungen dafür untersucht haben.