Pedirle a un LLM una puntuación de confianza es una mala idea
Using LLM for confidence scoring is a bad idea
Un LLM genera el «0.85» token a token, igual que cualquier otro texto: no mide nada ni refleja la evidencia disponible. Cambia si repites la pregunta o reformulas, y nunca se calibró contra su propia precisión. En lugar de eso, el autor propone construir una regla con señales observables —artículos encontrados, respuestas coincidentes—, registrar cada resultado y ajustar la confianza con lo que realmente ocurrió.
El modelo aprendió qué aspecto tienen las puntuaciones de confianza en el texto. No aprendió a hacer que sus puntuaciones coincidan con su precisión.
- madrox
Me saqué un título en estadística, y lo que recuerdo de aquellos tiempos es que pasábamos quizá un 10% del tiempo aprendiendo a construir el modelo y un 90% del tiempo interpretando correctamente la salida del modelo. Claro, en la época en que aprendí estadística, esta se aplicaba casi exclusivamente en ciencias duras, finanzas y actuaría. El salvaje oeste del machine learning aún no había empezado. Me pregunto si ahora lo enseñan de otra manera.
Cuando empezamos a usar grandes conjuntos de datos donde n llegaba a las decenas de millones, más o menos dejamos de preocuparnos porque los márgenes eran tan pequeños que era efectivamente seguro que habías encontrado la media de algún rango. Sin embargo, creo que en ese tiempo olvidamos qué es realmente la puntuación de confianza y con qué rapidez el alfa multiplicado puede dispararse.
- luisfominaya
Examiné cuán consistentes son los LLM pidiéndoles que pronostiquen eventos de Polymarket con ligeras variaciones en la entrada, como negar la pregunta.
Puedes ver los resultados por ti mismo aquí: https://noisebench.com/
- orbital-decay
Por supuesto que un LLM tiene un concepto latente de su propia confianza que es internamente consistente, y es perfectamente capaz de articularlo; el autor simplemente eligió la peor forma posible de preguntar. Usar una escala de 0-100 para cualquier cosa es una mala idea tanto con los LLM como con las personas. En lugar de puntuarlo de 0 a 100, divide tu problema en muchas dimensiones/ejes y dale a cada uno un enum pequeño y significativo o simplemente una escala numérica menos granular (idealmente solo una elección binaria). Luego aplica una puntuación ponderada al resultado. Te sorprenderá cuánto mejora a la hora de expresar su confianza de forma significativa de esta manera.
YouTube eliminó la escala de 1-5 por la misma razón: la gente no tiene ni idea de qué hacer con ella.
- Ozzie_osman
Hemos descubierto que puedes afinar las puntuaciones de confianza para tu dominio en modelos existentes. Creo que la forma en que esto funciona es que básicamente ayudas al modelo a entender qué tipos de entradas suele acertar y cuáles suele fallar. Parece una cosa razonable que esperarías que un modelo pudiera aprender
- visarga
En mis propias palabras: no puedes calibrar la confianza de un modelo sin un conjunto de calibración. La confianza es relativa a algún conjunto de datos etiquetado, se establece sobre un conjunto de cubos o intervalos, y se basa en la población, algo que no puedes comprobar para una sola predicción. Se asigna por caso, se verifica por población.
Me pareció que la forma en que se presentó a Jev era engañosa: no puedes decir "calibramos el modelo por ti" y saltarte tener un conjunto de calibración específico para la tarea. No podrían haber conocido todas nuestras tareas futuras.