Apple acelera la búsqueda vectorial en RAG con redes neuronales entrenadas para enrutar consultas
Faster Retrieval for Better, More Efficient RAG
Apple presenta en ICML 2026 SupportNet y KeyNet, dos redes neuronales que aprenden a dirigir consultas hacia su mejor coincidencia en bases de datos de millones de vectores. SupportNet sustituye el enrutamiento por centroides y alcanza un 95% de recall 1,9 veces más rápido; KeyNet reescribe la consulta para que un índice IVF estándar encuentre el resultado hasta 8 veces más rápido. El truco: entrenar con la distribución real de consultas de los usuarios.
El modelo SupportNet puede responder a una pregunta más útil que una simple comparación con el centroide: «¿Cómo de buena es la mejor clave dentro de este clúster para esta consulta?».
- armcat
Justo ayer vi una charla de Spotify en la que presentaban su propio mecanismo de recuperación rápida "Parallel Fusion Router" [1]. También está en el paradigma de la "recuperación aprendida"; en su caso, usan un LLM profesor para entrenar a un LLM enrutador mucho más pequeño sobre cómo recuperar, utilizando una función de recompensa basada en LLM-as-a-judge.
Por mi propia experiencia, estos métodos aprendidos de Apple, Spotify y otros son muy relevantes solo para hiperescala, cuando estás lidiando con cientos de millones de elementos entre los que elegir (o más) y necesitas una relevancia súper alta en el top-5. Para todos los demás casos de uso (hasta unos pocos millones de elementos) he descubierto que simplemente construir un índice BM25 y darle al LLM una "herramienta de búsqueda" BM25 y lanzar una "red amplia" gana siempre en comparación con los métodos aprendidos (aunque estos últimos son más publicables en recsys e icml).
[1] https://research.atspotify.com/2025/9/you-say-search-i-say-r...
- comandillos
Siento que los enfoques de recuperación, por buenos que sean tus mecanismos de ranking, acaban sesgando a los LLM hacia lo que dice un sistema basado en heurísticas con una comprensión mucho peor del dominio. Supongo que es un compromiso entre velocidad y calidad, pero dejar que el LLM explore sin sesgo (según mi experiencia personal) parece proporcionar en general resultados mucho mejores en términos de calidad para la salida final.
- lavendermon
Apple tiene una historia fascinante de esperar y ver cómo se desarrolla un mercado antes de entrar con un producto mejor y finalmente dominarlo; el iPod y el iPhone son dos ejemplos. Parece que podrían estar construyendo una posición fuerte para lograrlo de nuevo en la categoría de asistentes personales con IA que ChatGPT intenta dominar.
Disfruto viendo el enfoque de combustión lenta que Apple está desplegando mientras se prepara silenciosamente para ofrecer un % de inferencia local en los iPhone para proporcionar la mayoría de los servicios de IA que los consumidores quieren. La inferencia local podría permitir un precio muy bajo para los servicios de IA que Apple aprovecharía junto con sus enormes ventajas de ecosistema y sus afirmaciones de privacidad para competir de manera muy efectiva por suscripciones de asistentes personales con IA.