NEEDLE：搜索引擎无法记忆的基准测试
Needle: The benchmark your search engine can't memorize
现有静态基准测试容易让模型通过记忆答案或从 HuggingFace 直接获取数据来作弊，导致评估失真。NEEDLE 应运而生，这是一个专为 Agentic Web Search 设计的动态基准，涵盖 News、Finance、Scholar、AgenticRare 和 Legal 五大领域，数据每小时或每天更新，让模型无法死记硬背。测试发现，拥有独立索引的引擎在长尾查询和错误率上表现更优，而依赖聚合的引擎则难以突破上限。传统搜索引擎如 Google 为人类点击优化，却难以适应 Agent 高频、精确的搜索模式。未来，能随使用快速进化的搜索层将成为 AI 基础设施的核心。
对于 Agentic Search 而言，关键问题不在于谁今天最强，而在于谁进步得最快。
HN 评论区
11- MarkusQ
我想知道，像 Google 或 Bing 这样面向人类使用场景的搜索引擎，是否因为历史上为了迎合商业模式而被激励去“自我破坏”，从而从一开始就处于劣势？假设“擅长卖广告”不等于“擅长查找结果”，这似乎很合理。
- daft_pink
所以这是一个独立的搜索引擎基准测试，还是某家搜索引擎提供商发布的、让自己引擎排在榜首的博文？
我有点困惑，起初读的时候我以为这是个搜索引擎基准测试，但看起来 Keeenable 排在了第一，我猜这和域名所有者有关？我从来没听说过 Keeenable。
- terno
你们是否以某种方式控制了查询的非平凡程度？这些查询是由 LLM 生成的，对吧？
如果所有引擎都返回垃圾结果，或者反过来，处理得过于完美，该怎么办？
在我看来，以真正公平的方式构建这样一个基准测试极其困难。当然，在你们能分享的范围内，我对细节非常好奇。