Los LLM no detectan omisiones en notas clínicas: un estudio revela el punto ciego y cómo corregirlo
LLM Judges Verify Presence, Not Absence: Omission Blindness in AI Clinical Notes
Un estudio de la Universidad de Stanford revela que los jueces LLM, utilizados para auditar notas clínicas generadas por IA, son prácticamente ciegos a las omisiones de información, un error común en estos sistemas. Mientras detectan bien contenido alterado o añadido (precisión 0.79-0.94), su rendimiento en omisiones es casi aleatorio (0.50-0.63). Los investigadores crearon un benchmark con 500 notas y probaron ocho diseños de jueces, encontrando que ninguno supera al azar en la detección de omisiones en notas individuales. Sin embargo, al reestructurar la tarea para que el juez primero liste los hechos del transcript y luego verifique cada uno en la nota, se recupera la capacidad de detección. Un pipeline por hechos logra un 24.6% de detección con solo 2.7% de falsas alarmas, mientras que un prompt optimizado por GEPA alcanza un 36.9% con 6.2% de falsas alarmas y un costo diez veces menor. Dos médicos validaron los resultados, mostrando preferencia por el pipeline en casos de desacuerdo. El estudio también revela que los umbrales no se transfieren a notas reales de proveedores, pero recalibrando se mejora la detección. Liberan el benchmark, los prompts y los juicios para futuras investigaciones.
Los jueces LLM verifican la presencia, no la ausencia: son ciegos a las omisiones en las notas clínicas generadas por IA, pero reestructurar la tarea para listar hechos y verificarlos uno por uno recupera la detección.
- Planktonne
El hecho de que incluso el resumen esté claramente generado por IA no me llena de confianza en el rigor de la investigación.
- velrim
No estoy seguro sobre el artículo, pero los resultados tienen sentido; lo vemos también en la extracción de PDF. Los campos que no están en el documento se inventan entre el 11% y el 40% de las veces, dependiendo de la API. Todo el asunto es desagradable, en parte porque no es solo un problema de IA. Al revisar las etiquetas humanas que usamos en nuestras evaluaciones, 40 de las 142 claves de respuesta que afirmaban ausencia estaban equivocadas. Es complicado.
- udik2
Puede que esté escrito por IA. Usé mi IA para captar la idea general. Una cosa que creo es que los LLM deben considerarse una herramienta pura y se les puede guiar para que también señalen omisiones. La razón es simple: para encontrar lo que falta, hay que hacer las preguntas correctas sobre cómo juzgar y cuándo está ahí.