turbovec: Google의 TurboQuant 기반 벡터 인덱스, 1000만 문서를 4GB에 담고 FAISS보다 빠르게 검색

Turbovec – Google's TurboQuant for vector search in Rust

turbovec: Google의 TurboQuant 기반 벡터 인덱스, 1000만 문서를 4GB에 담고 FAISS보다 빠르게 검색

turbovec는 Google Research의 TurboQuant 알고리즘을 Rust로 구현한 벡터 인덱스로, Python 바인딩을 제공합니다. 데이터에 무관한 양자화기를 사용하여 별도의 학습 없이 온라인으로 벡터를 추가할 수 있으며, SIMD 커널을 통해 FAISS IndexPQFastScan보다 최대 3.4배 빠른 검색 속도를 달성합니다. 또한 증분 저장, 검색 시 필터링, 외부 ID 매핑 등의 기능을 제공하며, LangChain, LlamaIndex 등 주요 프레임워크와 통합됩니다.

1000만 개의 문서 코퍼스는 float32로 31GB의 RAM을 차지하지만, turbovec은 이를 4GB에 담고 FAISS보다 빠르게 검색합니다.

이 날의 다른 글

2026-08-18