「暗記できない」検索エンジン向けベンチマーク「NEEDLE」、Keenableが公開
Needle: The benchmark your search engine can't memorize
既存の検索エンジンベンチマークは静的で、モデルがテストデータを暗記したり、エージェントがHuggingFaceから直接答えを取得したりするなど、過学習やリークの問題がある。Keenableは、ニュース、金融、学術、専門的で稀なクエリ、法律の各分野をカバーするライブベンチマーク「NEEDLE」を構築した。タスクは毎日または毎時更新され、検索エンジンの時間経過による改善を追跡できる。同社はこれを用いて自社エンジンとGoogle、Bing、Brave、Tavily、Parallel、Exaを比較し、独自インデックスを持つエンジンの優位性を示す。
間違った答えが一致するのは、同じ上流インデックスを共有している最も単純な説明です。
HNでの議論
11- daft_pink
これは独立した検索エンジンのベンチマークなのか、それとも検索エンジンプロバイダーが自社の検索エンジンをベンチマークのトップに表示しているブログ投稿なのか？
最初に読んだときは検索エンジンのベンチマークだと思ったが、Keenableがトップにあり、それはドメイン所有者と関係があるのだろうか？Keenableという名前は聞いたことがない。
- MarkusQ
検索エンジンが人間のユースケースに特化したエンジン（GoogleやBingなど）と連携している場合、歴史的にビジネスモデルを支えるために自分たちを壊すようインセンティブが働いてきたため、最初から不利な立場にあるのではないかと思う。「広告を売るのが得意」≠「結果を見つけるのが得意」と考えるのは妥当に思える。
- terno
クエリの非自明さを何らかの形で制御しているのですか？LLMがクエリを生成するんですよね？
もしすべてのエンジンがゴミを返すか、逆にあまりにうまく処理してしまったらどうしますか？
このようなベンチマークを本当に公平な方法で構築するのは非常に難しいように思えます。共有できる範囲で詳細にとても興味があります。