TypeSafe AI의 Jev, 정확도가 아닌 보정으로 프로덕션 ML의 숙제를 푼다
Jev and System One Models: Calibration Beats Accuracy
TypeSafe AI가 첫 System One 모델 Jev를 공개했다. 채팅이나 단계별 추론 없이 단일 포워드 패스로 구조화된 질문에 확률과 함께 답한다. 작성자는 프로덕션 분류기에서 정확도보다 보정이 진짜 병목이었다고 말한다. PR 병합 예측 파이프라인에서 Jev가 보정된 Random Forest를 Brier score와 ECE에서 이기는지 실험할 계획이다.
모델이 70% 맞는 것에 0.95라고 말한다면, 당신이 설정한 모든 임계값은 거짓말이다.