Jev 无法校准：概率分数的真相

Jev Can't Be Calibrated

Jev 作为 TypeSafe 推出的首款 System One Model，号称能提供经过校准的概率和置信度分数，无需训练数据即可处理分类任务。但作者指出，这种“校准”宣称在通用场景下并不成立。校准不仅取决于模型本身，更依赖于数据分布。即使 Jev 在 TypeSafe 的数据集上表现良好，迁移到不同公司的生产环境时，其概率值可能完全失效。更令人担忧的是，即便输入中明确给出了真实概率（如抛硬币），Jev 仍可能输出错误数值。因此，建议将 Jev 的输出视为排序分数而非真实概率。若需依赖具体数值做决策，务必在自有数据上重新校准，例如通过 Platt scaling 进行修正。