turbovec: Google의 TurboQuant 기반 벡터 인덱스, 1000만 문서를 4GB에 담고 FAISS보다 빠르게 검색
Turbovec – Google's TurboQuant for vector search in Rust

turbovec는 Google Research의 TurboQuant 알고리즘을 Rust로 구현한 벡터 인덱스로, Python 바인딩을 제공합니다. 데이터에 무관한 양자화기를 사용하여 별도의 학습 없이 온라인으로 벡터를 추가할 수 있으며, SIMD 커널을 통해 FAISS IndexPQFastScan보다 최대 3.4배 빠른 검색 속도를 달성합니다. 또한 증분 저장, 검색 시 필터링, 외부 ID 매핑 등의 기능을 제공하며, LangChain, LlamaIndex 등 주요 프레임워크와 통합됩니다.
1000만 개의 문서 코퍼스는 float32로 31GB의 RAM을 차지하지만, turbovec은 이를 4GB에 담고 FAISS보다 빠르게 검색합니다.