Apple, 신경망으로 RAG 검색을 최대 8배 빠르게 만들다
Faster Retrieval for Better, More Efficient RAG
Apple 연구진이 ICML 2026에서 발표한 논문은 MIPS(최대 내적 탐색)의 지원 함수를 작은 신경망으로 학습해 RAG 검색을 가속한다. SupportNet은 클러스터별 지원 함수를 근사해 기존 centroid 라우팅보다 1.9배 빠르게 95% 라우팅 재현율을 달성하고, KeyNet은 쿼리를 최적 매칭 위치로 재작성해 99% 재현율까지 걸리는 시간을 약 8배 줄인다. 쿼리 분포를 미리 학습해 두는 사전 비용으로 추론 시점의 속도와 정확도를 함께 얻는 접근이다.
지원 함수의 그래디언트는 어떤 쿼리에서든 가장 잘 맞는 키 자체를 반환한다.
HN 토론
28- armcat
바로 어제 Spotify에서 자체 고속 검색 메커니즘인 "Parallel Fusion Router"[1]를 발표하는 강연을 봤다. 이것도 "학습된 검색(learned retrieval)" 패러다임에 속하는데, 그들의 경우에는 교사 LLM을 사용해 훨씬 작은 라우터 LLM이 검색하는 방법을 학습시키고, LLM-as-a-judge 기반 보상 함수를 사용한다.
내 경험상 Apple, Spotify 등에서 나온 이런 학습 기반 방법들은 하이퍼스케일에서만 매우 관련성이 높다. 즉, 선택할 항목이 수억 개 이상이고 상위 5개에서 초고도의 관련성을 요구할 때다. 그 외의 모든 사용 사례(수백만 개 항목까지)에서는 그냥 BM25 인덱스를 구축하고 LLM에 BM25 "검색 도구"를 제공하며 "넓게 그물을 던지는" 방식이 학습 기반 방법보다 항상 이겼다(후자가 recsys나 icml에 더 논문으로 내기 좋긴 하지만).
[1] https://research.atspotify.com/2025/9/you-say-search-i-say-r...
- comandillos
랭킹 메커니즘이 아무리 좋아도, 검색 접근법은 결국 LLM을 도메인 이해도가 훨씬 떨어지는 휴리스틱 기반 시스템이 말하는 쪽으로 편향시키는 것 같다. 속도와 품질의 트레이드오프인 것 같지만, 내 개인 경험상 LLM이 편향 없이 탐색하게 두는 것이 최종 출력 품질 면에서 일반적으로 훨씬 더 나은 결과를 준다.
- lavendermon
Apple은 시장이 어떻게 발전하는지 지켜보다가 더 나은 제품으로 진입해 결국 지배하는 흥미로운 역사를 가지고 있다. iPod과 iPhone이 두 가지 예시다. 이번에도 ChatGPT가 지배하려는 개인 비서 AI 카테고리에서 그런 전략을 다시 해낼 강력한 위치를 구축하고 있는 것 같다.
Apple이 조용히 iPhone에서 일부 비율의 로컬 추론을 제공해 소비자가 원하는 대부분의 AI 서비스를 제공할 준비를 하면서 펼치는 느린 불꽃 접근법을 지켜보는 게 즐겁다. 로컬 추론은 AI 서비스의 매우 낮은 가격대를 가능하게 할 수 있고, Apple은 이를 막대한 생태계 이점과 프라이버시 주장과 함께 활용해 개인 비서 AI 구독 시장에서 매우 효과적으로 경쟁할 수 있을 것이다.