SuperEMeansがe-meansを融合し、高次元ベクトルのクラスタリングを最大3倍高速化
SuperEMeans: Making e-means 3× faster
SuperKMeansの次元枝刈りとe-meansの少数エポック手法を組み合わせたSuperEMeansを開発。OpenAIの5M件1536次元埋め込みとCohereの10M件1024次元埋め込みで評価したところ、5エポック設定でe-means比3倍高速ながらRecall@100は同等。クラスタの偏りによるスキャンコスト増というe-meansの課題も、復活閾値の調整で緩和できることを示した。
e-meansはクラスタリングアルゴリズムの興味深い進歩だ。クラスタのバランスに注意を払う研究がもっと増えてほしい。これはベクトル検索性能の鍵となる要素であり、k-meansのWCSS/MSE目的関数とは必ずしも一致しない。