Turbovec: Googles TurboQuant für Vektorsuche in Rust – 10 Mio. Dokumente in 4 GB RAM
Turbovec – Google's TurboQuant for vector search in Rust
Turbovec ist ein in Rust geschriebener Vektorindex mit Python-Bindings, der auf Googles TurboQuant-Algorithmus basiert. Er komprimiert einen Korpus von 10 Millionen Dokumenten von 31 GB auf 4 GB RAM und durchsucht ihn schneller als FAISS. Der Index unterstützt Online-Ingest ohne Trainingsphase, schnelle SIMD-Suche (NEON, AVX-512), inkrementelle Speicherung, Filterung zur Suchzeit und reine lokale Ausführung. Benchmarks zeigen durchschnittlich 3,4× schnellere Suche als FAISS IndexPQFastScan bei 4-Bit-Quantisierung. Integrationsmodule für LangChain, LlamaIndex, Haystack und Agno sind verfügbar.
Ein Korpus mit 10 Millionen Dokumenten benötigt als float32 31 GB RAM. Turbovec passt ihn in 4 GB – und durchsucht ihn schneller als FAISS.