Context Language Models verwalten ihren Kontext selbst und übertreffen bisherige Strategien

Forscher stellen Context Language Models (CLMs) vor, die ihren Kontext als Datei behandeln und eigenständig aktualisieren. Ohne Training erzielen sie auf BrowseComp-Plus 11,4 % höhere Genauigkeit bei 21,5 % weniger FLOPs, auf EdgeBench 5 % bessere Ergebnisse bei 59 % weniger Rechenaufwand. Ein Online-Reinforcement-Learning-Verfahren steigert Qwen3.5-9B um 47,6 % bei 12 % weniger FLOPs. Zudem reduziert ein angepasster Suffix-Cache den Serveraufwand um 35 %.