SuperEMeans beschleunigt e-means um das Dreifache – ohne Qualitätsverlust

SuperEMeans: Making e-means 3× faster

Clustering ist der Flaschenhals beim Aufbau großer Vektorindizes wie IVF oder ScANN. e-means verspricht die Qualität von Lloyd's k-means mit nur zwei Epochen, SuperKMeans beschleunigt Lloyd's durch das Auslassen von Vektordimensionen um das Zwei- bis Zehnfache. Der Autor kombiniert beide Ansätze zu SuperEMeans: Bei fünf Epochen clustert es die Cohere- und OpenAI-Embeddings bis zu 3,2-mal schneller als e-means, bei gleicher Recall@100. Zudem zeigt er, dass eine höhere Revival-Schwelle die Cluster-Balance verbessert.

In e-means sind die Cluster in den am häufigsten abgefragten Regionen des Vektorraums aufgeblähter als bei Lloyd's k-means. Dennoch erreicht e-means einen niedrigeren WCSS (MSE), da dieses Ziel ausgewogene Cluster nicht belohnt – während die Vektorsuche für jeden gescannten Punkt bezahlt.

Mehr von diesem Tag

2026-11-18