Vector-Index-Benchmark: Warum die meisten Leistungszahlen nutzlos sind
Benchmarking Vector Indexes
Fast jede Datenbank bietet inzwischen Vektorsuche, aber die meisten veröffentlichten Zahlen sind nicht überprüfbar, weil sie ohne Kontext wie Recall und Durchsatz angegeben werden. Percona hat ein eigenes Benchmark-Tool namens vector-bench entwickelt, um Datenbanken mit Vektorsuche fair zu vergleichen. Der Beitrag erklärt die Grundlagen von Embeddings und Distanzmetriken (L2, Kosinus-Ähnlichkeit), die Funktionsweise der beiden gängigen Index-Typen HNSW und IVF sowie die wichtigsten Messgrößen: Recall gegen Durchsatz, Build-Kosten, Parallelität und gefilterte Suche. Besonders betont wird, dass ein einzelner Wert wie QPS ohne Recall nichts aussagt und dass die Build-Methode (inkrementell vs. Bulk) die Ergebnisse massiv verfälschen kann.
Ein einzelner Wert wie „3.678 Vektorabfragen pro Sekunde“ sagt nichts aus, wenn man nicht weiß, wie oft dabei die falschen Zeilen zurückgegeben wurden.