Jane StreetのメッセージバスAria、新インデックス戦略でCPU使用率を30%削減

Scaling and benchmarking a critical message bus using a new indexing strategy

Jane Streetの社内メッセージング基盤Ariaは、1日数テラバイトを処理する。インターンのTheodor Totev氏が、トピックパーティション単位のインデックスとブロックプールを導入し、メッセージのサブセット読み取りを効率化。本番環境でCPU使用率を30%削減し、レイテンシも改善した。さらに、トピックのメッセージ量に基づく適応的スプリッティングアルゴリズムを開発し、初期リカバリの遅延を解消した。