NEEDLE：搜索引擎无法记忆的基准测试

Needle: The benchmark your search engine can't memorize

现有静态基准测试容易让模型通过记忆答案或从 HuggingFace 直接获取数据来作弊，导致评估失真。NEEDLE 应运而生，这是一个专为 Agentic Web Search 设计的动态基准，涵盖 News、Finance、Scholar、AgenticRare 和 Legal 五大领域，数据每小时或每天更新，让模型无法死记硬背。测试发现，拥有独立索引的引擎在长尾查询和错误率上表现更优，而依赖聚合的引擎则难以突破上限。传统搜索引擎如 Google 为人类点击优化，却难以适应 Agent 高频、精确的搜索模式。未来，能随使用快速进化的搜索层将成为 AI 基础设施的核心。