Jane Street optimiert Message Bus: 30 % weniger CPU-Last
Scaling and benchmarking a critical message bus using a new indexing strategy
Jane Streets interner Message Bus Aria verarbeitet täglich mehrere Terabyte. Ein neuer Index pro Topic-Partition und ein adaptives Splitting-Verfahren beschleunigen die Wiederherstellung von Nachrichten. In Produktions-Workloads sinkt die CPU-Auslastung um 30 %, und eine zuvor 13-minütige Initial Recovery läuft wieder in Sekunden. Die Algorithmen wurden mit Expect-Tests, Antithesis und LLM-gestützten Experimenten abgesichert.
In einem besonders schweren Vorfall dauerte eine Initial Recovery, die normalerweise unter 2,5 Sekunden lag, über 13 Minuten.