Apple beschleunigt die Vektorsuche in RAG mit kleinen neuronalen Netzen
Faster Retrieval for Better, More Efficient RAG
Maximum Inner Product Search (MIPS) ist der Kern von RAG, Suche und Empfehlungssystemen. Herkömmliche Verfahren clustern Schlüssel und leiten Anfragen über Zentroide weiter – das übersieht oft den wahren besten Treffer. Apple-Forschende trainieren stattdessen kleine neuronale Netze (SupportNet und KeyNet) auf der tatsächlichen Anfrageverteilung. SupportNet erreicht 95 % Routing-Recall 1,9-mal schneller als die Zentroid-Methode; KeyNet liefert bei 99 % Recall bis zu achtmal geringere Latenz.
Die Funktion, die eine Anfrage dem größten inneren Produkt mit einem Schlüssel zuordnet, ist die Support-Funktion der Schlüsselmenge – ein in der konvexen Analysis wohlbekanntes Objekt.
- armcat
Gerade gestern habe ich einen Vortrag von Spotify gesehen, in dem sie ihren eigenen schnellen Retrieval-Mechanismus „Parallel Fusion Router“ [1] vorgestellt haben. Er gehört ebenfalls zum Paradigma des „gelernten Retrievals“ – in ihrem Fall verwenden sie ein Lehrer-LLM, um ein viel kleineres Router-LLM darin zu trainieren, wie es abruft, und nutzen dabei eine auf LLM-as-a-Judge basierende Reward-Funktion.
Aus meiner eigenen Erfahrung sind diese gelernten Methoden von Apple, Spotify und anderen nur für Hyperscale hochrelevant – wenn man es mit Hunderten Millionen von auszuwählenden Elementen (oder mehr) zu tun hat und eine extrem hohe Relevanz in den Top-5 benötigt. Für alle anderen Anwendungsfälle (bis zu ein paar Millionen Elemente) habe ich festgestellt, dass es jedes Mal gewinnt, einfach einen BM25-Index aufzubauen und dem LLM ein BM25-„Suchwerkzeug“ zu geben und ein „breites Netz“ auszuwerfen, verglichen mit gelernten Methoden (obwohl letztere in RecSys und ICML besser publizierbar sind).
[1] https://research.atspotify.com/2025/9/you-say-search-i-say-r...
- comandillos
Ich habe das Gefühl, dass Retrieval-Ansätze, so gut die Ranking-Mechanismen auch sein mögen, LLMs letztlich auf das vorspuren, was ein heuristikbasiertes System mit viel schlechterem Verständnis der Domäne sagt. Ich schätze, es ist ein Kompromiss zwischen Geschwindigkeit und Qualität, aber das LLM ohne Voreingenommenheit erkunden zu lassen (basierend auf meiner persönlichen Erfahrung) scheint im Allgemeinen viel bessere Ergebnisse in Bezug auf die Qualität der endgültigen Ausgabe zu liefern.
- lavendermon
Apple hat eine faszinierende Geschichte, abzuwarten und zu beobachten, wie sich ein Markt entwickelt, bevor sie mit einem besseren Produkt eintreten und ihn schließlich dominieren – iPod und iPhone sind zwei Beispiele. Es scheint, als würden sie eine starke Position aufbauen, um das im Bereich der persönlichen KI-Assistenten, den ChatGPT zu dominieren versucht, erneut zu schaffen.
Ich genieße es, den langsamen, aber stetigen Ansatz zu beobachten, den Apple verfolgt, während sie sich still darauf vorbereiten, einen gewissen Prozentsatz lokaler Inferenz auf iPhones anzubieten, um die meisten der von Verbrauchern gewünschten KI-Dienste bereitzustellen. Lokale Inferenz könnte einen sehr niedrigen Preis für KI-Dienste ermöglichen, den Apple zusammen mit seinen massiven Ökosystemvorteilen und Datenschutzversprechen nutzen würde, um sehr effektiv um Abonnements für persönliche KI-Assistenten zu konkurrieren.