NEEDLE: 검색 엔진이 암기할 수 없는 벤치마크

Needle: The benchmark your search engine can't memorize

기존 검색 엔진 벤치마크는 정적 질문에 의존해 과적합과 데이터 오염에 취약합니다. 일부 에이전트는 평가 중에 HuggingFace에서 정답을 직접 다운로드하기도 합니다. 이를 해결하기 위해 Keenable.ai는 뉴스, 금융, 학술, 법률, 희귀 엔티티 등 5개 분야에서 매시간 또는 매일 새로운 질문을 생성하는 라이브 벤치마크 NEEDLE을 공개했습니다. 이 벤치마크로 Google, Bing, Brave 및 AI 검색 스타트업들을 비교한 결과, 자체 인덱스를 보유한 엔진이 에이전트 검색에서 더 나은 성능을 보였으며, 전통적인 검색 엔진은 인간 중심 최적화로 인해 에이전트 요구를 충족하지 못한다고 분석합니다.