Context Language Models управляют контекстом как файлом и обходят SOTA с меньшими затратами

Исследователи из AI2 и Вашингтонского университета представили Context Language Models (CLMs), которые нативно управляют собственным контекстом, рассматривая его как файл с неограниченными обновлениями. Такой подход позволяет модели учиться тому, что важно сохранять, и естественно масштабируется на мультиагентные системы. Zero-shot CLMs превосходят SOTA-стратегии: на 11,4% выше точность при 21,5% меньших FLOPs на BrowseComp-Plus, на 5% выше баллы при 59% меньших FLOPs на 12-часовом EdgeBench и на 65% больше улучшение при том же compute на 24-часовой задаче agent-swarm с несколькими репозиториями. Управление контекстом можно настраивать естественно-языковыми инструкциями, повышая точность до 35,9 пункта, а онлайн-RL улучшает Qwen3.5-9B на BrowseComp-Plus на 47,6% при 12% меньших FLOPs. Для обслуживания CLM разработан Suffix Cache Reuse, снижающий серверные вычисления ещё на 35% относительно SGLang.

Мы представляем Context Language Models (CLMs) — языковые модели, которые нативно управляют собственным контекстом. Мы реализуем это, рассматривая контекст как файл и позволяя модели вносить в этот файл неограниченные изменения.
  1. _jayhack_

    Позволять модели управлять собственным контекстом — это очень в духе bitter lesson.

    Самая большая проблема в том, что если часто редактировать контекст/префикс агента, коэффициент попадания в кэш будет намного ниже, так что это нельзя эффективно реализовать через, например, Anthropic API.

    Это ^ в принципе решаемо, но, вероятно, требует изменений в архитектуре transformer и точно — в инфраструктуре обслуживания.

    См. по теме: "KV Cache Rules Everything Around Me": https://www.completeskeptic.com/p/kv-cache-rules-everything-...

  2. bob1029

    Меня бы беспокоило, что управление контекстом потребляет ограниченные ресурсы внимания.

    Вы хотите, чтобы ваш агент решал собственный кризис памяти или чтобы он решал фактическую задачу? Вероятно, он может делать и то, и другое одновременно, но подозреваю, что с этим связаны нетривиальные затраты.

    Отдельный агент-гипервизор, который управляет контекстом основного агента, по моему опыту, был бы намного лучше. Его можно запускать по другому расписанию, и основному агенту не придётся тратить ни одного токена на размышления об этом. Это также значительно упрощает контроль над тем, когда будут промахи кэша.

  3. imtringued

    Мам, можно нам deep equilibrium (DEQ) transformers?

    Нет, у нас есть DEQ дома.

    DEQ дома: мы просто сначала кладём контекст в файл, а потом просим модель его отредактировать.

  4. killerstorm

    По теме: "Recursive Language Models" https://arxiv.org/abs/2512.24601

  5. svachalek

    Ого. Управление контекстом — одна из главных оставшихся головных болей с современными LLM, так что это может быть прорывом. Очевидная сложность — инвалидация кэша, так что также воодушевляет, что они исследовали решения для этого.

Ещё за этот день

2026-10-01