SuperEMeans acelera el clustering de vectores hasta 3× sin perder calidad
SuperEMeans: Making e-means 3× faster
El equipo de SuperKMeans combinó su técnica de poda de dimensiones con e-means, un algoritmo que iguala la calidad de Lloyd con solo 2 épocas. El resultado, SuperEMeans, reduce el tiempo de clustering de 513 a 162 segundos en 5 millones de embeddings de OpenAI, y de 1283 a 436 segundos en 10 millones de pasajes de MS MARCO, manteniendo el recall@100. El código está disponible en GitHub.
e-means es un avance interesante en algoritmos de clustering. Me encantaría ver más avances que presten atención al equilibrio de los clústeres.