Jane Street, 메시지 버스 Aria의 CPU 사용량 30% 절감
Scaling and benchmarking a critical message bus using a new indexing strategy
Jane Street의 내부 메시징 시스템 Aria는 하루에 수 테라바이트를 처리한다. 인턴 Theodor Totev는 토픽 파티션 인덱싱과 적응형 트리 분할을 도입해 팁 복구와 초기 복구의 비효율을 해결했다. 그 결과 프로덕션 워크로드에서 CPU 사용량이 30% 감소했고, 13분 걸리던 초기 복구가 2.5초 이내로 단축됐다.
AI 이전에는 아마 더 나아 보이는 단일 구현을 선택했을 것이다. 하지만 요즘은 실험이 저렴하다: Theodor는 에이전트에게 다섯 가지 힙 구현을 만들어 밤새 프로파일링하도록 요청했다. 다음 날 답을 얻었다: fast_heap_unboxed가 인덱스 복구 코드 성능을 2배 향상시켰다.