La calibración, no la precisión, es el verdadero cuello de botella de los modelos de IA
Jev and System One Models: Calibration Beats Accuracy
TypeSafe AI lanzó Jev, el primer modelo 'System One' que responde preguntas estructuradas en una sola pasada, con probabilidades calibradas. El autor, con experiencia en clasificadores de producción, sostiene que la calibración —no la precisión— es lo que limita su utilidad. Propone un experimento con su pipeline de aceptación de PRs para verificar si Jev cumple lo que promete.
La calibración es una propiedad de un modelo y un conjunto de datos. El único número en el que confiaré es el medido en mis propios datos.