LRU es más difícil de vencer de lo que sugieren los papers sobre KV-cache
LRU is harder to beat than the KV-cache papers suggest
Reproduje 68.266 peticiones de 393 sesiones reales de Claude Code en un simulador de prefix-cache y fallé al intentar superar LRU de tres formas distintas. El motivo es más interesante que la política: bajo presión de capacidad, la mayor parte del recómputo proviene de bucles de tool-calling separados por segundos, no de sesiones inactivas, y el TTL de 5 minutos nunca llegó a dispararse.
La fuente dominante de fallos de caché aquí son bucles de herramientas ajustados de dos segundos cuyos conjuntos de trabajo de 88k tokens superan la capacidad de la caché: un problema de capacidad, no de predicción de actividad.