「暗記できない」検索エンジン向けベンチマーク「NEEDLE」、Keenableが公開

Needle: The benchmark your search engine can't memorize

既存の検索エンジンベンチマークは静的で、モデルがテストデータを暗記したり、エージェントがHuggingFaceから直接答えを取得したりするなど、過学習やリークの問題がある。Keenableは、ニュース、金融、学術、専門的で稀なクエリ、法律の各分野をカバーするライブベンチマーク「NEEDLE」を構築した。タスクは毎日または毎時更新され、検索エンジンの時間経過による改善を追跡できる。同社はこれを用いて自社エンジンとGoogle、Bing、Brave、Tavily、Parallel、Exaを比較し、独自インデックスを持つエンジンの優位性を示す。