Context Language Models управляют контекстом как файлом и обходят SOTA с меньшими затратами
Исследователи из AI2 и Вашингтонского университета представили Context Language Models (CLMs), которые нативно управляют собственным контекстом, рассматривая его как файл с неограниченными обновлениями. Такой подход позволяет модели учиться тому, что важно сохранять, и естественно масштабируется на мультиагентные системы. Zero-shot CLMs превосходят SOTA-стратегии: на 11,4% выше точность при 21,5% меньших FLOPs на BrowseComp-Plus, на 5% выше баллы при 59% меньших FLOPs на 12-часовом EdgeBench и на 65% больше улучшение при том же compute на 24-часовой задаче agent-swarm с несколькими репозиториями. Управление контекстом можно настраивать естественно-языковыми инструкциями, повышая точность до 35,9 пункта, а онлайн-RL улучшает Qwen3.5-9B на BrowseComp-Plus на 47,6% при 12% меньших FLOPs. Для обслуживания CLM разработан Suffix Cache Reuse, снижающий серверные вычисления ещё на 35% относительно SGLang.
Мы представляем Context Language Models (CLMs) — языковые модели, которые нативно управляют собственным контекстом. Мы реализуем это, рассматривая контекст как файл и позволяя модели вносить в этот файл неограниченные изменения.