NEEDLE: Der Benchmark, den Ihre Suchmaschine nicht auswendig lernen kann

Needle: The benchmark your search engine can't memorize

Statische Benchmarks erlauben Overfitting: Modelle können Antworten auswendig lernen oder sogar per wget von HuggingFace herunterladen. NEEDLE ist ein neuer Live-Benchmark für agentische Websuche, der stündlich aktuelle Fragen aus Nachrichten, Finanzen, Wissenschaft, seltenen Entitäten und Recht generiert. Er misst, wie gut Suchmaschinen wie Google, Bing, Brave, Tavily, Parallel und Exa wirklich abschneiden – und zeigt, dass nur Suchmaschinen mit eigenem Index lernen können. Die Ergebnisse offenbaren: Traditionelle Suchmaschinen, optimiert für menschliche Aufmerksamkeit, sind für Agenten ungeeignet.