Jev：校准度比准确率更重要
Jev and System One Models: Calibration Beats Accuracy
TypeSafe AI 发布了 Jev，号称首款 System One 模型。它不聊天、不生成文本，而是通过单次前向传播输出带概率的结构化决策。作者认为，相比速度，其核心突破在于校准度。在生产环境中，准确率往往容易饱和，但校准度不足会导致基于概率的下游逻辑失效。Jev 通过 RLCD 训练追求“认识论上的诚实概率”，旨在解决传统模型校准漂移的痛点。作者计划用 PR 合并预测任务验证其表现，并提醒团队在采用前需先评估现有模型的校准情况，切勿跳过经典基线模型。
如果模型对正确率仅为 70% 的事情给出 0.95 的概率，那么你设定的每一个阈值都是在说谎。
HN 评论区
11- rahimnathwani
他提出的处理“这条客户支持消息有多紧急？”的方法是“对有序等级打分”。
我不确定这是将 Jev 用于该场景的好方法。如果我有这个问题，我会让 Jev 针对每条消息回答几个不同的“是/否”问题，然后将这些概率作为输入，送入一个预测紧急程度的逻辑回归模型。
如果你问模型一些可以从输入中相对客观回答的具体“是/否”问题，我认为答案在不同代际的模型之间会更加稳定。
例如，如果你问“客户生气了吗？”，我预计不同模型之间、以及模型与人类之间的答案会有很高的一致性。但直接回答“是否紧急”这个问题要难得多。（虽然我想你可以在提示词里把规则放进去。）
- amluto
在我看来，Jev 在严格意义上无法开箱即用就实现有用的校准。假设我有一个 Pull Request（PR），状态包括标题、描述等。问题是“它会被合并吗？”（它是“选择”还是“noul”[0] 其实并不重要）。
现在考虑两个不同的项目可能有着截然不同的 PR 接受标准。这两个项目对于从它们收到的 PR 分布中随机抽取的一个 PR 被接受的概率也可能不同（即被接受的 PR 总体比例）。那么 Jev 能返回什么结果，才能同时对两者都“校准”呢？它甚至没有“我不知道”的选项，因为输出架构无法区分“我有信心答案是 50% 的概率，但这取决于当前状态”和“状态中不包含任何我能提取的有用信息，因此你应该假设你的后验分布与先验分布相同”。
为了好玩，我给了 Jev 一些无关的状态，并问了它几个状态毫无用处的问题（我选了体育比赛结果），它在给出接近明显正确的无信息答案（或当先验远非 0.5 时接近 0.5）的“是/否”概率方面，3 次尝试全败。
这是个愚蠢的测试，但我个人确实在真正的生产环境中遇到过这种情况，当时可用的最佳分类器（或者至少是成本远低于我所能承担的最佳分类器）……
- xzasdfghjkl
让我直说吧——这不仅仅是一篇写得烂的文章。它超级烦人，而且毫无内容。