NEEDLE: 검색 엔진이 암기할 수 없는 벤치마크
Needle: The benchmark your search engine can't memorize
기존 검색 엔진 벤치마크는 정적 질문에 의존해 과적합과 데이터 오염에 취약합니다. 일부 에이전트는 평가 중에 HuggingFace에서 정답을 직접 다운로드하기도 합니다. 이를 해결하기 위해 Keenable.ai는 뉴스, 금융, 학술, 법률, 희귀 엔티티 등 5개 분야에서 매시간 또는 매일 새로운 질문을 생성하는 라이브 벤치마크 NEEDLE을 공개했습니다. 이 벤치마크로 Google, Bing, Brave 및 AI 검색 스타트업들을 비교한 결과, 자체 인덱스를 보유한 엔진이 에이전트 검색에서 더 나은 성능을 보였으며, 전통적인 검색 엔진은 인간 중심 최적화로 인해 에이전트 요구를 충족하지 못한다고 분석합니다.
검색 엔진이 같은 질문에 대해 계속 같은 관련 없는 문서를 반환한다면, 가장 간단한 설명은 공유된 상위 인덱스가 있다는 것입니다.
HN 토론
11- daft_pink
그럼 이건 독립적인 검색 엔진 벤치마크인가요, 아니면 검색 엔진 제공업체가 자기 검색 엔진을 벤치마크 1위로 보여주는 블로그 게시물인가요?
처음 읽을 때는 검색 엔진 벤치마크인 줄 알았는데, keenable이 1위인 걸 보니 아마 웹 도메인 소유자와 관련이 있는 것 같네요? keenable은 들어본 적이 없는데요.
- MarkusQ
인간 사용 사례 엔진(예: 구글/빙)에 연결된 검색 엔진들은 역사적으로 비즈니스 모델을 지원하기 위해 스스로를 망가뜨리도록 인센티브를 받아왔기 때문에 불리하게 시작하는 건 아닐까 궁금합니다. '광고를 잘 판매하는 것'이 '결과를 잘 찾는 것'과 같지 않다는 것은 합리적으로 추측할 수 있죠.
- terno
쿼리가 얼마나 비자명한지 어떻게든 통제하시나요? LLM이 생성하는 거죠?
모든 엔진이 쓰레기를 반환하거나, 반대로 너무 잘 처리하면 어떻게 하시나요?
이런 벤치마크를 진정으로 공정한 방식으로 구축하는 것은 매우 어려워 보입니다. 공유할 수 있는 범위 내에서 세부 사항이 매우 궁금합니다.