PCA schlägt Matryoshka: Einfache Dimensionsreduktion übertrifft modernes MRL
Honey, I shrunk the embeddings: Matryoshka vs. PCA
Ein Experiment vergleicht Matryoshka Representation Learning (MRL) mit Principal Component Analysis (PCA) zur Dimensionsreduktion von Embeddings. Über acht BEIR-Datensätze und drei Modelle (text-embedding-3-small, qwen3-embedding-8b, text-embedding-ada-002) zeigt sich: PCA erhält bei kleineren Dimensionen oft mehr Retrieval-Qualität als MRL-Truncation, selbst bei Modellen ohne MRL-Training. Auch ein Out-of-Domain-Fit funktioniert erstaunlich gut. Die Ergebnisse legen nahe, dass PCA eine praktikable, flexiblere Alternative zu MRL sein kann.
Die Hypothese, dass PCA nur wegen MRL funktioniert, scheint angesichts der Tatsache unwahrscheinlich, dass sogar PCA auf dem Nicht-MRL-Modell die Truncation auf dem MRL-Modell bei diesen Dimensionen schlägt (59 % vs. 46 % bei 32 Dimensionen).