Honey, he reducido los embeddings: Matryoshka vs. PCA

Honey, I shrunk the embeddings: Matryoshka vs. PCA

Un experimento compara dos métodos para reducir la dimensionalidad de los embeddings: el entrenamiento Matryoshka (MRL) y el análisis de componentes principales (PCA). En ocho conjuntos de datos BEIR, PCA iguala o supera a MRL en la mayoría de los tamaños, especialmente en dimensiones bajas. Además, PCA funciona bien incluso en modelos sin entrenamiento MRL, y el ajuste de PCA es robusto ante muestras pequeñas o fuera de dominio.