Jev:校准度比准确率更重要
Jev and System One Models: Calibration Beats Accuracy

TypeSafe AI 发布了 Jev,号称首款 System One 模型。它不聊天、不生成文本,而是通过单次前向传播输出带概率的结构化决策。作者认为,相比速度,其核心突破在于校准度。在生产环境中,准确率往往容易饱和,但校准度不足会导致基于概率的下游逻辑失效。Jev 通过 RLCD 训练追求“认识论上的诚实概率”,旨在解决传统模型校准漂移的痛点。作者计划用 PR 合并预测任务验证其表现,并提醒团队在采用前需先评估现有模型的校准情况,切勿跳过经典基线模型。
如果模型对正确率仅为 70% 的事情给出 0.95 的概率,那么你设定的每一个阈值都是在说谎。