NEEDLE: Der Benchmark, den Ihre Suchmaschine nicht auswendig lernen kann
Needle: The benchmark your search engine can't memorize
Statische Benchmarks erlauben Overfitting: Modelle können Antworten auswendig lernen oder sogar per wget von HuggingFace herunterladen. NEEDLE ist ein neuer Live-Benchmark für agentische Websuche, der stündlich aktuelle Fragen aus Nachrichten, Finanzen, Wissenschaft, seltenen Entitäten und Recht generiert. Er misst, wie gut Suchmaschinen wie Google, Bing, Brave, Tavily, Parallel und Exa wirklich abschneiden – und zeigt, dass nur Suchmaschinen mit eigenem Index lernen können. Die Ergebnisse offenbaren: Traditionelle Suchmaschinen, optimiert für menschliche Aufmerksamkeit, sind für Agenten ungeeignet.
Zwei Studenten mit derselben richtigen Antwort haben gelernt. Zwei Studenten mit derselben falschen Antwort saßen nebeneinander.
- daft_pink
Ist das also ein unabhängiger Suchmaschinen-Benchmark oder ein Blogbeitrag eines Suchmaschinenanbieters, der seine eigene Suchmaschine an der Spitze des Benchmarks zeigt?
Ich bin ein wenig verwirrt, denn als ich es zuerst las, dachte ich, es sei ein Suchmaschinen-Benchmark, aber es scheint, dass Keenable oben steht, was vermutlich mit dem Domaininhaber der Website zusammenhängt? Ich habe noch nie von Keenable gehört.
- MarkusQ
Ich frage mich, ob Suchmaschinen, die mit menschlichen Anwendungsfällen verknüpft sind (z.B. Google/Bing), von Anfang an im Nachteil sind, weil sie historisch gesehen Anreize hatten, sich selbst zu brechen, um ihre Geschäftsmodelle zu unterstützen? Es scheint vernünftig anzunehmen, dass "gut im Verkaufen von Anzeigen" nicht gleich "gut im Finden von Ergebnissen" ist.
- terno
Kontrolliert ihr irgendwie, wie nicht-trivial die Abfragen sind? Die LLM generiert sie, oder?
Was, wenn jede Engine Müll liefert oder sie andererseits zu gut verarbeitet?
Einen solchen Benchmark auf wirklich faire Weise zu erstellen, scheint mir äußerst schwierig. Ich bin sehr neugierig auf die Details, natürlich im Rahmen dessen, was ihr teilen könnt.