Ein LLM erzeugt Bewertungskriterien: Der Bag-of-Decisions-Reranker schlägt BM25 deutlich

Bag of Decisions Reranker

Doug Turnbull stellt den Bag-of-Decisions-Reranker vor: Statt eine Suchanfrage als Bag of Terms zu behandeln, generiert ein LLM zunächst einen Kriterienkatalog mit Ja/Nein-Fragen zur Relevanz. Ein Modell wie Jev schätzt die Wahrscheinlichkeit für jede Frage, deren Summe als Rerank-Score dient. Auf Wayfair WANDS und Amazon ESCI erzielt der Ansatz mittleres NDCG von 0,610 bzw. 0,360 und übertrifft damit sowohl BM25 als auch einen einfachen Jev-Reranker. Der Autor sieht darin einen vielversprechenden Ansatz für tiefergehende Studien.