Context Language Models：让模型自主管理上下文

研究人员推出了 Context Language Models（CLMs），这是一种能原生管理自身上下文的语言模型。通过将上下文视为文件并允许模型进行无限制更新，CLMs 能够自主学习哪些信息最关键。在 BrowseComp-Plus 和 EdgeBench 等任务中，零样本构建的 CLMs 不仅准确率更高，还大幅减少了 FLOPs 消耗。此外，CLMs 支持通过自然语言指令进行引导，并结合在线强化学习进一步提升性能。研究团队还设计了 Suffix Cache Reuse 技术，在保持性能的同时将服务器端计算量降低了 35%。