68,266개 실제 요청으로 검증한 결과: LRU는 논문이 말하는 것보다 훨씬 강력했다
LRU is harder to beat than the KV-cache papers suggest
393개의 실제 Claude Code 세션에서 68,266개 요청을 재생해 KV 캐시 정책을 실험한 결과, LRU를 세 가지 방식으로 능가하려던 시도가 모두 실패했다. 재계산의 33.1%는 10초 이내의 툴 호출 루프에서 발생했고, 5분 TTL은 한 번도 발동하지 않았다. 진짜 병목은 세션 유휴가 아니라 88k 토큰 작업 세트를 수용하지 못하는 캐시 용량이었다.
용량 압박이 걸리면 대부분의 재계산은 TTL을 넘겨 유휴 상태가 된 세션이 아니라, 불과 몇 초 간격의 툴 호출 루프에서 발생하며 TTL은 아예 발동하지 않는다.
HN 토론
56- augment_me
내가 좀 짜증나는 점, 그리고 이런 LLM이 돌린 ablation이 명백히 포착하지 못한다고 느끼는 점은, 이전 연구에 대한 어떤 성찰이나 이것이 최선이라는 증거 같은 게 전혀 없다는 거다. 모른다, 레버를 당겨서 뭔가 나왔는데 그게 최선인가? 더 잘할 수 있나? 제약 조건은 뭔가?
개인 연구자로서, 문제에 대해 대규모 무차별 대입 탐색을 돌릴 2200만 달러 같은 건 없다. 작은 구독료에 묶여 있고, 가능한 해결책의 바다에 발끝만 살짝 담글 뿐이다. 그래서 Claude가 너의 문제에 대해 autoresearch 루프를 돌리고 그걸 요약해주게 하는 건 0의 가치를 가져온다. 왜냐하면 LRU 캐시의 단점과 트레이드오프가 뭔지, 그리고 어떻게 해결할 수 있을지 모르기 때문이다.
- eru
> 안 됐고, 왜 안 됐는지가 정책 자체보다 더 흥미로웠다.
진정한 Claude답게 말하네.
비꼬는 건 제쳐두고, 우리 AI 에이전트 덕분에 이런 실험을 하고 이런 글을 쓰는 게 충분히 저렴해져서 사람들이 드디어 null 결과를 발표할 마음을 먹게 된 게 기쁘다. 매우 유용하다!
- bob1029
LRU는 LLM 관련 대부분의 것에 이상적인 전략인 것 같다. 이 영역의 모든 것은 최신성 편향에 관한 것이다. 이 맥락에서는 문제가 아니라 기능이라고 생각한다.
에이전트에게 장기 실행 작업에 관한 수정된 정보를 줄 때, 내가 가장 원치 않는 것은 그것이 새로운 정보라는 사실을 통계적으로 보상하려 드는 것이다. 나는 이 새로운 정보가 옛 정보를 압도하기를 원한다.
- talolard
나는 neocloud에서 inference 작업을 하지만, 의견은 내 개인적인 것이다.
inference에 던질 수 있는 경제성과 따라서 도구들은 규모에 따라 달라진다.
"무딘" 인위적인 예로, gb300에서는 GPU가 nvlink를 통해 초고속으로 통신하고, 카드는 kv cache를 dram으로, 그다음 디스크로 오프로드할 수 있는데, 이런 도구 집약적인 에이전트 워크로드에는 "충분히 빠르다".
이것들이 합쳐져서, 충분히 큰 규모와 적절한 시나리오에서는 kv cache에 아주 긴 ttl을 적용해도 SLA와 tokenomics를 편안하게 충족할 수 있다는 뜻이다.
- chaboud
나는 한동안 지연 시간에 민감한 LLM 시스템을 구축해 왔고, ping-pong overlapped async context construction 같은 pre-fill을 고려한 메커니즘에 크게 의존하게 되었다. 대화형 메커니즘에서는 최악의 경우가 드물더라도 문제가 된다.
장난감/단순화된 버전은 여기에 있다:
https://github.com/chaboud/goulash
변화율에 대한 고려(일종의 시간적 Shannon식 코딩/정렬)가 거기에 있다(약간의 RoPE 친화적 구조화와 함께). 참고: 그건 휴가 프로젝트였지 본업이 아니지만, 더 큰 모델에서도 비슷한 원칙이 적용된다.