Warum die Tail-Latenz deine Infrastrukturkosten bestimmt
Lorenz and Little: How Much Does Your Tail Cost?
Marc Brooker zeigt mit der empirischen Lorenz-Kurve, wie stark die langsamsten Requests die mittlere Latenz und damit über Little's Law die Nebenläufigkeit im System prägen. In einem Beispiel tragen Requests ab dem p99 rund 52 Prozent zur mittleren Latenz bei – und damit auch zur Auslastung. Wer Tails abschneidet, entfernt oft genau den Kostentreiber. Der Beitrag liefert Code und einen interaktiven Rechner.
Tails tend to be disproportionately expensive to serve, and so disproportionately important to focus on as we think about optimization.