Apple научила нейросети находить нужный документ в базе в 8 раз быстрее
Faster Retrieval for Better, More Efficient RAG
В основе RAG и поиска лежит поиск максимального скалярного произведения (MIPS): нужно найти ключ, лучше всего совпадающий с запросом. Классические методы делят базу на кластеры и маршрутизируют запрос по центроидам, но это неточно — центроид не учитывает разброс внутри кластера. Исследователи Apple предложили обучать небольшие нейросети SupportNet и KeyNet на реальном распределении запросов. Первая предсказывает, какой кластер содержит лучший ответ, вторая переписывает запрос ближе к цели. На Natural Questions это даёт до 8× ускорения при 99% recall.
Если бы у нас был доступ к опорной функции каждого кластера, мы могли бы выполнять точную маршрутизацию, поскольку каждая опорная функция точно показывает, насколько любой ключ внутри кластера может соответствовать запросу с высоким счётом.
- armcat
Как раз вчера я видел доклад от Spotify, где они представили свой собственный механизм быстрого поиска "Parallel Fusion Router" [1]. Это тоже из парадигмы "learned retrieval" — в их случае они используют учительскую LLM, чтобы обучить гораздо меньшую LLM-роутер тому, как выполнять поиск, используя функцию вознаграждения на основе LLM-as-a-judge.
По моему собственному опыту, эти обученные методы от Apple, Spotify и других очень актуальны только для гипермасштаба — когда вы имеете дело с сотнями миллионов элементов для выбора (или больше) и требуете сверхвысокой релевантности в топ-5. Для всех остальных случаев (до нескольких миллионов элементов) я обнаружил, что просто построить индекс BM25, дать LLM "инструмент поиска" BM25 и "забросить широкую сеть" выигрывает каждый раз по сравнению с обученными методами (хотя последние более публикабельны в recsys и icml).
[1] https://research.atspotify.com/2025/9/you-say-search-i-say-r...
- comandillos
Мне кажется, что подходы к поиску, какими бы хорошими ни были ваши механизмы ранжирования, в итоге смещают LLM в сторону того, что говорит эвристическая система с гораздо худшим пониманием предметной области. Полагаю, это компромисс между скоростью и качеством, но позволить LLM исследовать без предвзятости (по моему личному опыту) обычно дает гораздо лучшие результаты с точки зрения качества финального вывода.
- lavendermon
У Apple есть увлекательная история того, как они ждут и наблюдают за развитием рынка, прежде чем войти с лучшим продуктом и в конечном итоге доминировать — iPod и iPhone являются двумя примерами. Похоже, они могут строить сильную позицию, чтобы провернуть это снова в категории персональных AI-ассистентов, которую пытается доминировать ChatGPT.
Мне нравится наблюдать за подходом медленного разогрева, который применяет Apple, пока они тихо готовятся предложить какой-то процент локального инференса на iPhone, чтобы предоставить большинство AI-услуг, которые хотят потребители. Локальный инференс мог бы обеспечить очень низкую цену на AI-услуги, которую Apple использовала бы вместе со своими огромными преимуществами экосистемы и заявлениями о конфиденциальности, чтобы очень эффективно конкурировать за подписки на персональных AI-ассистентов.