让LLM给置信度评分是个坏主意
Using LLM for confidence scoring is a bad idea
很多开发者习惯让LLM直接输出置信度评分，但这完全是个误区。LLM生成的数字只是文本的合理延续，并非基于证据的计算结果。真正的置信度需要像天气预报那样，基于大量历史数据的校准，并反映当前信息的确定性。文章指出，LLM的评分会随提问措辞变化而波动，且从未经过实际正确率的验证。要获得可靠的置信度，不应询问模型，而应建立基于可观测特征（如搜索结果数量、回答一致性）的规则，并持续用真实反馈进行校准。只有经过严格验证的规则，才能提供值得信赖的置信度。
模型学会了置信度分数在文本中看起来是什么样子，但它并没有学会让它的分数与它的准确率相匹配。
HN 评论区
56- orbital-decay
当然，LLM 内部确实存在一个自身一致的置信度概念，也完全有能力将其表达出来，只是作者选择了最糟糕的提问方式。无论是 LLM 还是人类，用 0-100 的评分尺度来衡量任何事物都是个坏主意。与其让它打 0-100 的分数，不如把你的问题拆解成多个维度/轴，给每个维度分配一个简短且有意义的枚举值，或者使用粒度更粗的数值尺度（理想情况下只是一个二选一）。然后对结果应用加权评分。你会惊讶地发现，通过这种方式，它在表达置信度方面变得多么有意义。
YouTube 出于同样的原因取消了 1-5 的评分尺度，因为人们根本不知道该怎么用它。
- dash2
LLM 不是在预测市场上已经超越人类了吗？如果是这样，那它们似乎应该非常擅长置信度评分。
- madrox
我拿过统计学学位，我记得那时候我们大概只花了 10% 的时间学习如何构建模型，而 90% 的时间都在学习如何正确解读模型输出。当然，在我学习统计学的那段时间，它几乎只应用于硬科学、金融和精算领域。机器学习的“狂野西部”时代还没开始。我想知道现在他们是不是教得不一样了。
当我们开始使用 n 达到数千万的大数据集时，我们基本上就不再纠结了，因为边际效应太小，实际上你几乎肯定能找到某个范围的均值。然而，我认为在那段时间里，我们忘记了置信度评分究竟是什么，以及 alpha 值是如何迅速成倍膨胀并反噬你的。
- m101
这难道不是 JEV 训练本该改进的地方吗？它们不是在训练预测下一个 token，而是在预测下一个 token 的分布，或者类似的东西。
- bob1029
LLM 的调用在你对它采取行动之前只是一段文本，那为什么不发送多个完全相同的提示请求，然后在外部测量特定工具选择被选中的概率呢？
我很确定这就是大模型提供商的推理模型的工作原理。平均 10 个 lunas 的结果很可能比调用一次大的 sol 更稳定。无论如何，你可以利用统计分布来决定后续的推理步骤。