Context Language Models управляют контекстом как файлом и обходят SOTA с меньшими затратами
Исследователи из AI2 и Вашингтонского университета представили Context Language Models (CLMs), которые нативно управляют собственным контекстом, рассматривая его как файл с неограниченными обновлениями. Такой подход позволяет модели учиться тому, что важно сохранять, и естественно масштабируется на мультиагентные системы. Zero-shot CLMs превосходят SOTA-стратегии: на 11,4% выше точность при 21,5% меньших FLOPs на BrowseComp-Plus, на 5% выше баллы при 59% меньших FLOPs на 12-часовом EdgeBench и на 65% больше улучшение при том же compute на 24-часовой задаче agent-swarm с несколькими репозиториями. Управление контекстом можно настраивать естественно-языковыми инструкциями, повышая точность до 35,9 пункта, а онлайн-RL улучшает Qwen3.5-9B на BrowseComp-Plus на 47,6% при 12% меньших FLOPs. Для обслуживания CLM разработан Suffix Cache Reuse, снижающий серверные вычисления ещё на 35% относительно SGLang.
Мы представляем Context Language Models (CLMs) — языковые модели, которые нативно управляют собственным контекстом. Мы реализуем это, рассматривая контекст как файл и позволяя модели вносить в этот файл неограниченные изменения.
- _jayhack_
Позволять модели управлять собственным контекстом — это очень в духе bitter lesson.
Самая большая проблема в том, что если часто редактировать контекст/префикс агента, коэффициент попадания в кэш будет намного ниже, так что это нельзя эффективно реализовать через, например, Anthropic API.
Это ^ в принципе решаемо, но, вероятно, требует изменений в архитектуре transformer и точно — в инфраструктуре обслуживания.
См. по теме: "KV Cache Rules Everything Around Me": https://www.completeskeptic.com/p/kv-cache-rules-everything-...
- bob1029
Меня бы беспокоило, что управление контекстом потребляет ограниченные ресурсы внимания.
Вы хотите, чтобы ваш агент решал собственный кризис памяти или чтобы он решал фактическую задачу? Вероятно, он может делать и то, и другое одновременно, но подозреваю, что с этим связаны нетривиальные затраты.
Отдельный агент-гипервизор, который управляет контекстом основного агента, по моему опыту, был бы намного лучше. Его можно запускать по другому расписанию, и основному агенту не придётся тратить ни одного токена на размышления об этом. Это также значительно упрощает контроль над тем, когда будут промахи кэша.
- imtringued
Мам, можно нам deep equilibrium (DEQ) transformers?
Нет, у нас есть DEQ дома.
DEQ дома: мы просто сначала кладём контекст в файл, а потом просим модель его отредактировать.
- killerstorm
По теме: "Recursive Language Models" https://arxiv.org/abs/2512.24601
- svachalek
Ого. Управление контекстом — одна из главных оставшихся головных болей с современными LLM, так что это может быть прорывом. Очевидная сложность — инвалидация кэша, так что также воодушевляет, что они исследовали решения для этого.