Los agentes de IA se ahogan en su propia memoria: el costo de contexto crece cuadráticamente
Agentic Context Management: Memory and Cost as Architecture Problems
Los fallos de los agentes de IA en producción suelen deberse a una mala gestión del contexto, no a una falta de razonamiento. Este artículo propone el concepto de Agentic Context Management (ACM), que trata la memoria del agente como un ciclo de vida: arquitectura, ingesta, alcance, anticipación y compactación. Muestra que la acumulación ingenua de contexto eleva el costo de tokens de forma cuadrática, mientras que una compactación validada logra un costo lineal sin perder fidelidad. Presenta Maximem Synap, una implementación de referencia que alcanza 92% en LongMemEval y 93.2% en LoCoMo, y señala dimensiones que los benchmarks actuales no capturan: latencia, eficiencia de tokens y resistencia a la rotación de contexto.
Los agentes se ahogan en su propia historia acumulada mientras pagan un costo de tokens que crece en cada turno, produciendo recuerdos faltantes dentro y entre conversaciones.
- nullbio
La contaminación y la podredumbre del contexto son probablemente más importantes que la memoria, porque los hechos generalmente se pueden recuperar si el agente es bueno siguiendo pistas. Lo que también es el mayor asesino es la podredumbre del código. Los agentes son particularmente buenos en la muerte por mil cortes. Implementan algo mal, o incorrectamente, o introducen un patrón malo en el proyecto. Luego continúan amplificando esa maldad con el tiempo, mientras siguen copiándola en trabajos posteriores. Se propaga como un virus. Mantener estas semillas fuera del proyecto es muy difícil, y limpiar la podredumbre es muy difícil. También parece un problema difícil de resolver porque seguir el código existente es algo bueno cuando el código es bueno, pero malo cuando es malo. Así que, aparentemente, la solución significa más pensamiento y evaluación para cada cambio que se hace.
- samyakk
ACM, ese es el término que estaba buscando, y tu artículo lo explica claramente. Al final, la mayoría de los problemas de los LLM son problemas de contexto. Obtener el conocimiento correcto en su ventana de contexto sin sobrepoblarla es el esfuerzo de ingeniería real para la mayoría de los agentes. Y la solución que presentas parece prometedora. Tanto la compactación con validación como la búsqueda predictiva son el camino a seguir. No quiero escribir una implementación para esto yo mismo, y si Synap es esa implementación, me gustaría hacerte algunas preguntas: 1. ¿Funciona con contexto que no son solo conversaciones de agentes, sino también documentos? 2. ¿Es mejor que RAG en conjuntos de datos grandes? 3. ¿Cómo son las opciones on-prem?
- respectattentio
Me gusta empezar con la ingeniería de memoria y luego llegar al sistema completo y después reducir costos. Esto permite desbloquear todo el potencial de los agentes.