Los Context Language Models gestionan su propio contexto y superan al estado del arte con menos cómputo
Los autores presentan los Context Language Models (CLMs), modelos que tratan su contexto como un archivo que pueden actualizar sin restricciones, aprendiendo qué mantener y extendiéndose de forma natural a sistemas multiagente. Construidos zero-shot con modelos existentes, superan a las estrategias SOTA de gestión de contexto: 11,4% más de precisión con 21,5% menos FLOPs en BrowseComp-Plus, 5% más de puntuación con 59% menos FLOPs en EdgeBench de 12 horas y 65% más de mejora con el mismo cómputo en una tarea de enjambre de agentes de 24 horas. Además, pueden guiarse con instrucciones en lenguaje natural y mejorarse con un método de reinforcement learning online, que eleva el rendimiento de Qwen3.5-9B en BrowseComp-Plus un 47,6% usando 12% menos FLOPs. Un Suffix Cache Reuse co-diseñado para el serving reduce el cómputo en servidor un 35% frente a SGLang estándar con el mismo rendimiento.
Construir CLMs zero-shot con modelos existentes supera a las estrategias SOTA de gestión de contexto en una variedad de tareas: 11,4% más de precisión con 21,5% menos FLOPs en BrowseComp-Plus.