埋め込みベクトルを縮小する：Matryoshka vs PCA、どちらが優れているか

Honey, I shrunk the embeddings: Matryoshka vs. PCA

LLMの利用拡大に伴い、ベクトルデータベースのコストと速度が問題となっている。Matryoshka Representation Learning (MRL)は学習時に次元削減を組み込む手法で、PCAは学習後に適用可能な古典的手法だ。8つのBEIRデータセットで両手法を比較した結果、PCAはMRL訓練済みモデルでも非MRLモデルでも、特に低次元でMRLトランケーションと同等以上の検索品質を維持した。また、PCAのフィッティングデータの規模やドメイン外のデータでも性能は大きく劣化しないことがわかった。