Jev 的校准度测试:结果令人失望
How accurately calibrated is Jev?

我深入测试了 TypeSafe 推出的新决策模型 Jev,试图验证其概率分布输出的校准程度。通过对比物理学中已知的 Maxwell-Boltzmann 等经典分布,我发现 Jev 的表现远非完美。尽管它能准确识别问题对应的分布类型,但在生成具体的概率分布时,它表现出强烈的“峰值偏好”,倾向于将概率质量集中在单一选项上,而非均匀分布。在涉及公平骰子或硬币抛掷的测试中,Jev 甚至给出了极度自信的单一结果。这表明,虽然 Jev 作为 System One 模型在速度和成本上极具优势,但其输出的概率校准度目前仍存在显著缺陷,直接用于自动化评估 LLM 答案可能并不可靠。
Jev 表现出强烈的倾向,总是选择那些过于尖锐的分布,并且在处理平滑消失的尾部时存在明显困难。
HN 评论区
20- amluto
我一直在思考这个情况。我认为作者对 Jev 这类模型的期望,和我想要的完全不一样。
> 我决定在一些答案已很明确的问题上验证这一点。例如:
> 一个质量为 m 的经典粒子嵌入在温度为 T 的热力学平衡系统中。它的速度 v 是多少?
如果我把这个问题喂给模型,我期望得到的回答是:“模型与提供的状态相结合,无法为你的先验知识提供任何有用的信息”。
如果我想了解麦克斯韦 - 玻尔兹曼分布,我可以查资料,也可以自己推导,或者让一个高级 LLM 帮我做(这需要消耗一些推理 token 和时间——除非我使用的是超高速推理系统,否则我肯定无法在 50ms 内得到这个答案)。[0]
同样,如果我想知道 73% 的 incoming 客户支持请求是垃圾/欺诈,我应该去测量——这是我系统的一个属性,需要一些人工分类和数据库查询,而且这个比例和你客户支持系统看到的不一样。我既不希望也不想要我的分类器知道这一点(除非我使用的是在自家数据上人工训练的传统分类器,而 Jev 的整个初衷就是要避免这一点)。
我对 Jev 这类系统的期望是:告诉我,基于我提供的每个样本的数据,概率是如何变化的。就这个玻尔兹曼分布问题而言,答案是“没有变化”:我没有提供任何数据,分类器也无法推断出任何东西。
[0] A re […]
- dvt
> 所以 Jev 实际上知道哪些分布是正确的,它只是无法生成它们
像这样的说法需要深入分析。模型确实拥有一些涌现能力 [1],我认为有很多证据表明语义确实是被学习到的(Word2Vec),而且某些数学似乎也是被学习到的(例如模运算)。但很难确切地说清哪里是内部机制在生成正确答案,哪里只是碰巧分布对了让答案看起来正确。
- cannedbread
在我看来,通过问 Jev 这类定义不明确的问题,你本质上是在把它当作随机数生成器(类似于掷骰子的例子)。在真正的 NLP 问题上(包括那些在人工审核下存在不确定性的问题),它似乎校准得相当好:https://leonardgrazian.com/blog/jev-calibration/