LRU ist schwerer zu schlagen, als KV-Cache-Papers behaupten

LRU is harder to beat than the KV-cache papers suggest

Ein Entwickler hat 68.266 Anfragen aus 393 echten Claude-Code-Sitzungen und 23.608 Mooncake-Anfragen durch einen Prefix-Cache-Simulator gespielt und drei Versuche unternommen, den Produktions-Baseline LRU zu übertreffen – alle scheiterten. Der Grund: Unter Kapazitätsdruck entsteht der meiste Recompute durch Tool-Calling-Schleifen im Sekundenabstand, nicht durch Sitzungen, die ein TTL überschreiten. Der 5-Minuten-TTL feuerte nie. Die Arbeit reproduziert Mooncakes veröffentlichte Kurve und dokumentiert einen Harness-Bug, der Belady gegen LRU verlieren lässt.

Anfragen, die nach einer Lücke von mehr als 5 Minuten eintreffen, machen 17,5 % des Recompute aus. Anfragen, die innerhalb von 10 Sekunden eintreffen, machen 33,1 % aus.
  1. eru

    > Es hat nicht funktioniert, und warum es nicht funktioniert hat, stellte sich als interessanter heraus als die Richtlinie es gewesen wäre.

    Gesprochen wie ein wahrer Claude.

    Schnippische Bemerkungen beiseite, ich bin froh, dass unsere KI-Agenten es billig genug machen, diese Experimente durchzuführen und diese Berichte zu veröffentlichen, dass die Leute endlich damit anfangen, Nullergebnisse zu veröffentlichen. Sehr nützlich!

  2. bob1029

    LRU scheint die ideale Strategie für die meisten Dinge im Zusammenhang mit LLMs zu sein. In diesem Bereich dreht sich alles um Recency Bias. Ich denke, das ist in diesem Kontext ein Feature, kein Problem.

    Wenn ich einem Agenten eine korrigierte Information bezüglich einer lang laufenden Aufgabe gebe, ist das Letzte, was ich will, dass er versucht, statistisch für die Tatsache zu kompensieren, dass es sich um neue Informationen handelt. Ich möchte, dass diese neuen Informationen die alten dominieren.

  3. jeffbee

    Das ist fast unlesbar. Die "Papers" werden nirgendwo referenziert, sodass die widerlegten Behauptungen nicht bewertet werden können. Die ganze Tatsache der TTL scheint überhaupt nicht relevant zu sein. Es gibt viele, viele gut erforschte Admission- und Eviction-Richtlinien, die dieses Readme nicht erwähnt. Ich verstehe einfach nicht, warum wir das lesen.

Mehr von diesem Tag

2026-09-12