꼬리 지연이 시스템 동시성을 좌우한다
Lorenz and Little: How Much Does Your Tail Cost?
Marc Brooker는 경험적 Lorenz Curve로 각 지연 백분위가 평균 지연에 얼마나 기여하는지 계산한다. 예시 분포에서 p99 이상 요청이 평균 지연의 약 52%를 차지한다. Little의 법칙에 따르면 이 비율은 곧 시스템 동시성 점유율이기도 하다. 실제 서비스에서 이 값이 50%를 넘거나 90%에 이르는 일도 드물지 않다. 따라서 꼬리를 잘라내기보다 꼬리를 최적화하는 것이 비용 절감의 핵심이다.
꼬리는 처리 비용이 불균형적으로 비싼 경향이 있어서, 최적화를 고민할 때 불균형적으로 중요하다. 꼬리를 잘라내는 실수를 해서는 안 된다. 꼬리가 흔히 비용을 끌어올리는 주범이기 때문이다!