搜索新范式：从词袋到决策袋
Bag of Decisions Reranker
传统的搜索将查询视为“词袋”，但这篇实验文章提出了一种全新的思路：将查询转化为“决策袋”。作者利用 LLM 为特定查询（如“儿童书桌”）生成一系列评估相关性的具体问题（Rubric），而非单一的是否相关判断。随后，通过 Jev 模型计算每个问题得到肯定回答的概率，并将这些概率求和作为最终的排序分数。在 Wayfair WANDS 和 Amazon ESCI 两个电商数据集上的测试表明，这种“决策袋”重排序策略的 Mean NDCG 表现均优于传统的 BM25 和单一的 Jev 重排序。这种方法本质上是为每个查询动态创建特征，利用 LLM 的洞察力定义评估标准，再结合概率模型进行精准度量，为 AI 搜索领域提供了一个极具潜力的新方向。
与其将搜索查询解释为“词袋”，我们为何不将其视为“决策袋”？
HN 评论区
11- deepsquirrelnet
> 1 - 文档是关于为儿童设计的桌子吗？
> 2 - 文档是否提供儿童桌的产品或信息？
> ...
> 9 - 是否列出了儿童桌的品牌或型号？
> 10 - 是否涵盖了在哪里购买或如何选择儿童桌的内容？
>
> 每一个都可以转化为一个非布尔问题（noul question）。将每个问题的 P(yes) 求和，即可得出整体相关性得分。
在我看来，这似乎是对自然语言推理（NLI）的重新发现，这在 LLM 出现之前的 NLP 研究中非常活跃。我有个业余爱好就是训练 NLI 交叉编码器（cross encoders），我敢打赌，这些用例中的许多都可以由一个高质量的轻量级 NLI 模型来服务。
参见：https://huggingface.co/dleemiller/finecat-nli-v2-l
还有：
“少标注，多分类：利用深度迁移学习和 BERT-NLI 解决监督机器学习的数据稀缺问题”
https://www.semanticscholar.org/paper/Less-Annotating%2C-Mor...
- ungreased0675
一个可能的改进是为每个问题生成一个敏感度分数。有些问题比其他问题更重要。例如，完全不提及“儿童”应该会导致相关性大幅下降，但不提及某个具体特性则只会导致分数小幅下降。
- rahimnathwani
他比较了以下几种技术：
- 仅使用 BM25
- 仅使用 Jev
- LLM + Jev
后者效果最好。
但我想知道，仅使用 LLM 是否能达到接近的效果。如果你打算每次调用都使用 LLM，那么测试一下添加 Jev 是否能提升性能似乎是合理的。
编辑：写这条评论前我应该多喝点咖啡。正如下面 make3 指出的那样，我忘了在 LLM+Jev 的设置中，LLM 每个查询只需要运行一次，而在仅 LLM 的设置中，LLM 需要对每个被评估的项/片段运行一次。