Los Context Language Models gestionan su propio contexto y superan al estado del arte con menos cómputo

Los autores presentan los Context Language Models (CLMs), modelos que tratan su contexto como un archivo que pueden actualizar sin restricciones, aprendiendo qué mantener y extendiéndose de forma natural a sistemas multiagente. Construidos zero-shot con modelos existentes, superan a las estrategias SOTA de gestión de contexto: 11,4% más de precisión con 21,5% menos FLOPs en BrowseComp-Plus, 5% más de puntuación con 59% menos FLOPs en EdgeBench de 12 horas y 65% más de mejora con el mismo cómputo en una tarea de enjambre de agentes de 24 horas. Además, pueden guiarse con instrucciones en lenguaje natural y mejorarse con un método de reinforcement learning online, que eleva el rendimiento de Qwen3.5-9B en BrowseComp-Plus un 47,6% usando 12% menos FLOPs. Un Suffix Cache Reuse co-diseñado para el serving reduce el cómputo en servidor un 35% frente a SGLang estándar con el mismo rendimiento.

Construir CLMs zero-shot con modelos existentes supera a las estrategias SOTA de gestión de contexto en una variedad de tareas: 11,4% más de precisión con 21,5% menos FLOPs en BrowseComp-Plus.
  1. _jayhack_

    Dejar que un modelo gestione su propio contexto está muy en la línea de la lección amarga.

    El mayor desafío es que obtendrás una tasa de aciertos de caché mucho menor si editas con frecuencia el contexto/prefijo del agente, así que esto no se puede implementar de manera eficiente, por ejemplo, a través de la API de Anthropic.

    Esto ^ se puede resolver en principio, pero probablemente requiere modificaciones en la arquitectura del transformer y definitivamente en la infraestructura de servicio.

    Ver relacionado: "KV Cache Rules Everything Around Me": https://www.completeskeptic.com/p/kv-cache-rules-everything-...

  2. bob1029

    Me preocuparía que la gestión del contexto consuma recursos de atención limitados.

    ¿Quieres que tu agente resuelva su propia crisis de memoria, o quieres que resuelva la tarea real? Probablemente pueda hacer ambas cosas a la vez, pero sospecho que hay un costo no trivial asociado a esto.

    Un agente hipervisor separado que gestione el contexto del agente principal sería mucho mejor según mi experiencia. Puedes ejecutarlo en un horario diferente y el agente principal no tiene que gastar ni un token pensando en ello. Esto también hace que sea mucho más fácil controlar cuándo se producirán fallos de caché.

  3. imtringued

    Mamá, ¿podemos tener transformers de equilibrio profundo (DEQ)?

    No, tenemos DEQ en casa.

    DEQ en casa: primero ponemos el contexto en un archivo y luego le pedimos al modelo que lo edite.

  4. killerstorm

    Relacionado: "Recursive Language Models" https://arxiv.org/abs/2512.24601

  5. svachalek

    Vaya. La gestión del contexto es uno de los grandes inconvenientes que quedan con los LLM modernos, así que esto podría ser importante. La complicación obvia es la invalidación de la caché, así que también es emocionante que hayan investigado soluciones para eso.

Más de este día

2026-10-01