ベクトルインデックスのベンチマーク：なぜ「毎秒3,678クエリ」という数字は無意味なのか

Benchmarking Vector Indexes

Perconaがオープンソースのベンチマークツール「vector-bench」を開発し、主要データベースのベクトル検索性能を公平に比較する方法を解説。HNSWとIVFという2つのアルゴリズムの仕組みを説明し、再現率（recall）とスループットのトレードオフを強調。特に、多くのベンダーが公表する「毎秒クエリ数」は、再現率を無視しているため意味がないと指摘。また、インデックスの構築方法（インクリメンタル vs バルク）やフィルタリング検索の落とし穴など、ベンチマークで見落とされがちな点を詳細に説明する。