LLM裁判意见一致，我们该信吗？
When LLM judges agree, should we believe them?
当多个LLM裁判对同一内容给出一致评价时，我们是否应该盲目相信？Amazon Science的研究指出，简单的多数投票可能具有误导性。如果这些裁判共享相同的训练数据、提示模板或模型家族，它们的“一致”可能只是重复了同一个错误。文章提出利用Ising模型构建裁判网络，量化裁判间的依赖关系，从而区分独立证据与共同偏差。实验表明，这种方法在相关性分类、毒性检测和摘要评估等任务中，比传统加权投票基准提升了9%到14%的准确率。
如果八个表示赞同的裁判源自相同的提示模板、训练谱系或模型家族，它们可能只是在重复同一个错误，而非提供独立的证据。
HN 评论区
46- mey
正如文末所指出的，共同盲区需要被更多地考虑。在我的日常工作中，与他人以及现在与 LLM 的协作，大多集中在澄清上下文和需求上。据我的经验，即使我提供了尽可能多的上下文，Claude 也很容易在信息不全的情况下做出断言。
- qarl
虽然这绝对没错，但我对完全否定使用相似代理互相校验的做法持保留态度。无论权重如何，两个代理几乎不可能以完全相同的方式产生幻觉；而引入第二个（拥有不同上下文）的代理进行核查，几乎能彻底消除这个问题。
- bryzaguy
它们都会一致认为 raspberry 有两个 R。
- VaradD09
我认为这取决于 LLM 本身。就像每个模型一样，不同的模型拥有不同的权重，训练数据也不同。
- Tsarp
笼统地谈论“LLM”有点奇怪。每个实验室、每个模型都不同，各有各的偏见、奖励函数等等。