Un error de un escriba de IA en una cita médica deja devastada a una paciente
Error by AI scribe during medical appointment leaves patient devastated
Rebecca Green descubrió que un escriba de IA inventó que consumía hongos psicodélicos durante su cita con un urólogo. El error apareció en una carta postoperatoria y podría haber afectado su caso de compensación laboral. Un informe de Digital Rights Watch revela que estos sistemas pueden alucinar síntomas y que los médicos a menudo no verifican sus transcripciones. La TGA aún no regula estas herramientas, y los pacientes pueden sufrir consecuencias graves.
"Me quedé atónita y llorando... inventó que tomo hongos [psicodélicos]. Nunca he tomado hongos en mi vida".
- kioleanu
Estoy sorprendido por los comentarios en este hilo que van desde "sí, pero los humanos también cometen errores" hasta "sí, pero ¿cuántos errores comete una IA comparada con un humano?". Ninguno de esos es el punto aquí. Tenemos médicos que han empleado IA como software para ayudarles y ese software es defectuoso. Soy desarrollador de software y si escribo una pieza de software médico con errores tan flagrantes, vería el infierno hasta potencialmente ser demandado hasta la ruina.
- pizzly
El otro lado es que he sido testigo de médicos cometiendo errores personalmente en archivos médicos. Están sobrecargados de trabajo y solo te ven durante 15 minutos y con prisa por sacarte, así que por supuesto cometen errores. Sería interesante comparar si el software de transcripción o los humanos cometen más errores. Supongo que la respuesta será muy matizada, como que el software de transcripción falla con acentos para los que no fue entrenado, cuán sobrecargada está la clínica, etc.
- Arn_Thor
Puedes optimizar el trabajo. Pero no puedes optimizar el trabajo para que desaparezca. Si dependes de la atención, experiencia y juicio humano, como hacemos en medicina, necesitas que ese médico capacitado tenga tiempo para mirar la transcripción y pensar cuidadosamente sobre su contenido. Si usamos la IA como una forma de ayudar a los médicos a pasar aún menos tiempo en el caso de cada paciente, lo estamos enfocando de manera equivocada. No debería ayudar a reducir costos, debería ayudar a mejorar la calidad de la atención.
- arjie
El modelo clásico de Whisper también te dará texto en momentos de silencio. Muchos de estos tipos simplemente lo envolvieron. No puedes simplemente hacer lo mínimo. Bueno, supongo que puedes y obtendrás ventas, pero no resolverá el problema correctamente.
Mi prima usó una de estas aplicaciones con consentimiento del paciente y dijo que luego tiene que escuchar el audio y reescribirlo todo. Dejó de usarla por esa razón. Ni siquiera era un ahorro de tiempo.
Curiosamente, creo que Robin realmente calculó mal el momento. Se detuvieron justo cuando salió el estado del arte y con su transcripción con humano en el bucle podrían haber sido bastante útiles.
- tanelih
> Hay evidencia de que durante las primeras semanas de usar IA, [las personas] revisan las cosas con bastante cuidado y luego en un punto dejan de revisar porque asumen que estará bien.
Creo que este es un problema que la gente a menudo pasa por alto / no recibe suficiente peso en la discusión.
Me pregunto si, cuando se implementan tecnologías tan profundas (como la IA, las redes sociales), deberían estar sujetas a estudios desde la "perspectiva humana" durante un período de tiempo más largo.
Sin embargo, esto podría ser imposible en el sistema actual.
- newsomix9xl
No solo la IA aparentemente alucinó el consumo de psilocibina, sino que el médico luego alucinó sangrado interno como un riesgo, que no es un riesgo conocido de tales hongos.
Pero esto parece un poco clickbait.
Puedes impugnar tu registro médico, y presumiblemente un servicio de transcripción de IA estaría ahí. A menos que .au sea especial en ese sentido.
- jdthedisciple
Podría haber una buena solución técnica para al menos minimizar el riesgo:
En lugar de depender de la transcripción de una sola vez, hacer que el sistema verifique los hechos clave preguntando al paciente para confirmar:
"¿Puede confirmar que ha consumido drogas psicoactivas antes?" – "sí/no"
Etc.
- sshine
Me siento en una oficina donde algunas personas trabajan en agentes de voz de soporte al cliente, y la experiencia es terrible.
Acabo de tener que llamar a un número de soporte por primera vez en mucho tiempo, y me encuentro con un robot que entiende perfectamente mi solicitud (hablo muy lenta y claramente), y procede a rechazar completamente un código de 6 dígitos, insistiendo en que es de 4 dígitos, y llevando el silencio incómodo a un nuevo extremo (30-60 segundos entre cada interacción).
He trabajado en conversión de voz a texto y he leído transcripciones entre dos personas hablando donde todo lo que dice una persona sale como un galimatías porque están en el lado equivocado de un micrófono unidireccional. Un humano interrumpiría durante la reunión, o al menos al transcribir.
Ponerlo en producción ahora es apostar tu autenticidad por ahorro de costos, esperando que tu maldito bot de voz sea solo tan malo como el resto.
Con suerte, con esta inminente desempleo masivo causado por la automatización de IA, tendremos algunas manos libres para proporcionar un servicio genuino en lugar de este absurdo ridículo.