Uber придумал, как остановить лавину повторных запросов
How Uber Protects Against Retry Storms
Uber разработал механизм контекстно-зависимых повторных запросов, который определяет, кто виноват в ошибке — сам сервис или его нижестоящий зависимый сервис. Это позволяет повторять запросы только к источнику сбоя, предотвращая каскадное усиление нагрузки и превращение локального сбоя в общесистемную аварию.
Повторные запросы к уже испытывающему трудности сервису увеличивают нагрузку, ускоряют отказ и усиливают повторный трафик по всем вышестоящим зависимостям. То, что начинается как локальный сбой, может быстро перерасти в инцидент масштаба всего стека.