Context Language Models:让模型自主管理上下文

研究人员推出了 Context Language Models(CLMs),这是一种能原生管理自身上下文的语言模型。通过将上下文视为文件并允许模型进行无限制更新,CLMs 能够自主学习哪些信息最关键。在 BrowseComp-Plus 和 EdgeBench 等任务中,零样本构建的 CLMs 不仅准确率更高,还大幅减少了 FLOPs 消耗。此外,CLMs 支持通过自然语言指令进行引导,并结合在线强化学习进一步提升性能。研究团队还设计了 Suffix Cache Reuse 技术,在保持性能的同时将服务器端计算量降低了 35%。

我们引入 Context Language Models(CLMs),这是一种原生管理自身上下文的语言模型。
  1. _jayhack_

    让模型自主管理上下文,这真是典型的“苦涩教训”(bitter lesson)。

    最大的挑战在于,如果你频繁修改代理的上下文或前缀,缓存命中率会大幅下降,因此无法通过例如 Anthropic API 高效实现。

    这个问题原则上可以解决,但很可能需要修改 transformer 架构,并且肯定需要改造服务基础设施。

    参见相关讨论:"KV Cache Rules Everything Around Me":https://www.completeskeptic.com/p/kv-cache-rules-everything-...

  2. bob1029

    我会担心上下文管理会消耗有限的注意力资源。

    你是想让代理自己解决内存危机,还是想让它解决真正的任务?它可能能同时做这两件事,但我怀疑这会带来不小的代价。

    根据我的经验,用一个独立的 hypervisor 代理来管理主代理的上下文会更好。你可以按不同的调度运行它,这样主代理就不需要花费任何 token 来思考这件事。这也让控制缓存未命中变得容易得多。

  3. visarga

    我们今天不能对任何模型都玩这个把戏吗?直接把文件作为下一个上下文发送不就行了?当然,根据你修改的深度,你得为缓存未命中买单,而 Context Language Models 只是忽略了重计算。

同日更多故事

2026-10-01