GitHub, 코드 검색 속도 15배 향상: 조기 종료 최적화 제거

Don't stop early: Case-folding source code at memory speed

GitHub의 코드 검색 엔진 Blackbird는 1억 8천만 개 이상의 저장소(480TB 이상)를 인덱싱하며 모든 바이트를 case folding합니다. 이 글은 ASCII fast path에서 조기 종료(early exit) 최적화를 제거하는 것이 왜 가장 큰 성능 향상을 가져왔는지 설명합니다. 분기 없는(branchless) 단일 패스 루프는 벡터화를 가능하게 하여 3 GiB/s에서 45 GiB/s 이상으로 속도를 높였습니다. 또한 Unicode case folding 테이블을 1776바이트로 압축하고, 힙 할당을 피하며, 비ASCII 문자 처리를 최적화한 Rust crate 'casefold'를 오픈소스로 공개했습니다.