KI-Protokoll erfindet Drogenkonsum: Patientin nach Arztbesuch am Boden zerstört
Error by AI scribe during medical appointment leaves patient devastated
Eine Australierin entdeckte nach einer Nierenstein-OP in ihrem Arztbrief die falsche Behauptung, sie nehme halluzinogene Pilze. Der Brief war von einer KI-Transkriptionssoftware erstellt worden, die die Aussagen der Patientin erfunden hatte. Der Vorfall wirft Fragen zur Sicherheit und Regulierung von KI-Protokollen im Gesundheitswesen auf. Eine Studie zeigt, dass solche Systeme häufig Fehler machen und sogar falsche Diagnosen stellen können. Experten fordern strengere Kontrollen und eine bessere Aufklärung der Patienten.
„Ich war wie vor den Kopf gestoßen und in Tränen aufgelöst … es hat erfunden, dass ich [psychedelische] Pilze nehme. Ich habe in meinem Leben noch nie Pilze genommen.“
- kioleanu
Ich bin schockiert über die Kommentare in diesem Thread, die von "Ja, aber Menschen machen auch Fehler" bis "Ja, aber wie viele Fehler macht eine KI im Vergleich zu einem Menschen" reichen. Beides ist hier nicht der Punkt. Wir haben Ärzte, die KI als Software zur Unterstützung eingesetzt haben, und diese Software ist fehlerhaft. Ich bin Softwareentwickler, und wenn ich ein Stück medizinische Software mit so offensichtlichen Fehlern schreibe, würde ich die Hölle sehen und möglicherweise bis zur Vernichtung verklagt werden.
- pizzly
Die andere Seite ist, dass ich persönlich miterlebt habe, wie Ärzte Fehler in medizinischen Akten gemacht haben. Sie sind überarbeitet und sehen einen nur 15 Minuten lang und sind in Eile, einen rauszuschmeißen, und natürlich machen sie dann Fehler. Es wäre interessant zu vergleichen, ob Transkriptionssoftware oder Menschen die meisten Fehler machen. Ich schätze, die Antwort wird sehr nuanciert sein, wie zum Beispiel, dass Transkriptionssoftware bei Akzenten versagt, auf die sie nicht trainiert wurde, oder wie überlastet die Klinik ist usw.
- Arn_Thor
Man kann Arbeit optimieren. Aber man kann Arbeit nicht wegoptimieren. Wenn man von menschlicher Aufmerksamkeit, Fachwissen und Urteilsvermögen abhängig ist, wie wir es in der Medizin tun, braucht man, dass der ausgebildete Arzt Zeit hat, sich das Transkript anzusehen und sorgfältig über den Inhalt nachzudenken. Wenn wir KI als Mittel einsetzen, um Ärzten zu helfen, noch weniger Zeit für den Fall jedes Patienten aufzuwenden, gehen wir es falsch an. Es sollte nicht helfen, Kosten zu senken, sondern die Qualität der Versorgung zu verbessern.
- arjie
Das klassische Whisper-Modell liefert dir auch in stillen Momenten Text. Viele dieser Typen haben das nur eingewickelt. Man kann nicht einfach das Minimum tun. Nun, ich schätze, man kann und man wird Verkäufe bekommen, aber es wird das Problem nicht richtig lösen. Meine Cousine hat eine dieser Apps mit Einwilligung der Patienten benutzt und sagte, sie müsse dann das Audio anhören und alles neu schreiben. Aus diesem Grund hat sie aufgehört. Es war nicht einmal eine Zeitersparnis. Seltsamerweise denke ich, dass Robin hier wirklich das Timing verpasst hat. Sie haben genau in dem Moment aufgehört, als der Stand der Technik herauskam, und mit ihrer Transkription mit menschlicher Kontrolle hätten sie ziemlich nützlich sein können.
- tanelih
> Es gibt Hinweise darauf, dass Menschen in den ersten Wochen der Nutzung von KI die Dinge ziemlich sorgfältig überprüfen und dann irgendwann aufhören zu überprüfen, weil sie annehmen, dass es richtig sein wird. Ich denke, das ist ein Problem, das die Leute oft übersehen / nicht genug Gewicht in der Diskussion bekommt. Ich frage mich, ob solche tiefgreifenden Technologien (wie KI, soziale Medien), wenn sie eingeführt werden, einer längeren Studie aus "menschlicher Perspektive" unterzogen werden sollten. Dies könnte jedoch im aktuellen System unmöglich sein.
- newsomix9xl
Nicht nur, dass die KI offenbar den Konsum von Psilocybin halluziniert hat, sondern der Arzt hat dann auch noch innere Blutungen als Risiko halluziniert, was kein bekanntes Risiko solcher Pilze ist. Aber das scheint ein wenig klickköderig zu sein. Man kann seine medizinischen Aufzeichnungen anfechten, und vermutlich wäre ein KI-Transkriptionsdienst dort enthalten. Es sei denn, .au ist in dieser Hinsicht etwas Besonderes.
- jdthedisciple
Es könnte eine gute technische Lösung geben, um das Risiko zumindest zu minimieren: Anstatt sich auf die einmalige Transkription zu verlassen, könnte das System wichtige Fakten überprüfen, indem es den Patienten um Bestätigung bittet: "Können Sie bestätigen, dass Sie schon einmal psychoaktive Drogen genommen haben?" – "Ja/Nein" usw.
- eelioss
Ich bin überrascht, dass die Ärzte die Transkription nicht ein wenig überprüfen müssen. Ich muss meinen Code vor der Bereitstellung überprüfen.