ベクトルインデックスのベンチマーク：なぜ「毎秒3,678クエリ」という数字は無意味なのか
Benchmarking Vector Indexes
Perconaがオープンソースのベンチマークツール「vector-bench」を開発し、主要データベースのベクトル検索性能を公平に比較する方法を解説。HNSWとIVFという2つのアルゴリズムの仕組みを説明し、再現率（recall）とスループットのトレードオフを強調。特に、多くのベンダーが公表する「毎秒クエリ数」は、再現率を無視しているため意味がないと指摘。また、インデックスの構築方法（インクリメンタル vs バルク）やフィルタリング検索の落とし穴など、ベンチマークで見落とされがちな点を詳細に説明する。
「毎秒3,678件のベクトルクエリを処理する」という数字は、何も語っていない。それがどれだけ頻繁に誤った行を返していたかはわからず、それを引用する人自身も知らないかもしれない。
- stephantul
これは、実際の情報がほとんどない、AIが生成した超長文だ。結果の分析は一切含まれていない。
「列挙する価値がある」というフレーズは含まれているけどね。
- BenoitP
- wood_spirit
結果を見るのが本当に楽しみだ。
redid、annoy、voyager、lancedbなど、OLTP SQLデータベースだけでなく、できるだけ多くのものを含めてくれるといいんだけど。