テールレイテンシの削減がコスト削減の鍵、Lorenz曲線とLittleの法則で定量化
Lorenz and Little: How Much Does Your Tail Cost?
p99のリクエストが平均レイテンシの約52%を占めるなら、Littleの法則によりシステムの同時実行数も同じ割合を占めることになる。経験的にこの値が50%を超えることは珍しくなく、テールの最適化は容量需要やロック競合の削減に大きく効く。テールは切り捨てるのではなく、コストを押し上げる主因として注力すべき対象だ。
テールは処理するのに不釣り合いなほど高コストになりがちで、だからこそ最適化を考えるうえで不釣り合いなほど重要だ。テールを切り捨てるという過ちを犯すべきではない。テールこそがコストを押し上げている張本人であることが多いのだから。