Индексация в Aria сократила потребление CPU на 30%
Scaling and benchmarking a critical message bus using a new indexing strategy
Aria — внутренний message bus Jane Street, обрабатывающий терабайты данных в день. Инженеры переработали механизмы tip recovery и initial recovery: вместо линейного перебора сообщений они применили индексы по topic partitions и адаптивное разбиение дерева топиков. Это снизило нагрузку на CPU на 30% в production и ускорило восстановление клиентов после сбоев.
В одном конкретном инциденте initial recovery, который обычно занимал менее 2,5 секунд, растянулся более чем на 13 минут.