Хвостовая задержка съедает половину вашего бюджета — и вот почему

Lorenz and Little: How Much Does Your Tail Cost?

Марк Брукер показывает, как с помощью эмпирической кривой Лоренца посчитать, какую долю средней задержки даёт каждый перцентиль. По закону Литтла та же доля приходится и на конкурентность в системе: на примере распределения запросы на уровне p99 и выше дают около 52% средней задержки, а значит, и половину занятых потоков. Отсюда вывод: оптимизация хвоста — самый недооценённый способ снизить нагрузку и затраты, и обрезать хвост нельзя, ведь именно он и создаёт расходы.