LRU сложнее победить, чем предполагают статьи о KV-кэше
LRU is harder to beat than the KV-cache papers suggest
Автор воспроизвёл 68 266 запросов из 393 реальных сессий Claude Code и 23 608 запросов Mooncake в симуляторе префиксного кэша. Три попытки превзойти LRU провалились. Причина: при нехватке ёмкости основная перевычислимость возникает из-за циклов вызова инструментов с интервалом в секунды, а не из-за простоя сессий. TTL в 5 минут ни разу не сработал. Это указывает на проблему ёмкости, а не на предсказание активности.
Запросы, приходящие после паузы более 5 минут, дают 17,5% перевычислений. Запросы, приходящие в течение 10 секунд, дают 33,1%.