La latencia de cola puede consumir la mitad de tu capacidad
Lorenz and Little: How Much Does Your Tail Cost?
Marc Brooker usa la curva de Lorenz empírica para medir cuánto contribuye cada percentil de latencia a la media. Con Little's law, esa misma proporción se traduce en concurrencia: en un ejemplo, las peticiones por encima del p99 aportan el 52% de la latencia media y, por tanto, de los hilos ocupados. Recortar la cola sería un error, porque suele ser la que dispara los costes y la demanda de capacidad.
Las colas tienden a ser desproporcionadamente caras de atender y, por eso, desproporcionadamente importantes a la hora de optimizar. No deberíamos cometer el error de recortarlas, porque a menudo son lo que está impulsando los costes.