LLM-Richter übersehen Auslassungen in KI-Kliniknotizen – bis die Aufgabe umstrukturiert wird
LLM Judges Verify Presence, Not Absence: Omission Blindness in AI Clinical Notes
Ambient-AI-Schreiber erstellen klinische Notizen, und Audits zeigen, dass ihr Hauptfehler das Auslassen von Informationen ist. Eine neue Studie mit 500 Notizpaaren zeigt, dass LLM-Richter Hinzufügungen oder Änderungen gut erkennen (0,79–0,94), aber Auslassungen kaum (0,50–0,63). Umstrukturierung der Aufgabe – erst Fakten auflisten, dann prüfen – verbessert die Erkennung deutlich: Eine Pipeline identifiziert fehlende Fakten mit 2,7 % Fehlalarmen, ein optimierter Einzelaufruf erkennt mehr (36,9 % vs. 24,6 %) bei 6,2 % Fehlalarmen. Ärztliche Validierung bestätigt die Pipeline in strittigen Fällen. Der Benchmark und die Prompts sind auf Hugging Face und GitHub verfügbar.
Die Umstrukturierung der Aufgabe stellt die Erkennung wieder her: Listen Sie die Fakten auf, die das Transkript feststellt, und prüfen Sie dann die Notiz auf jeden einzelnen.
- Planktonne
Die Tatsache, dass sogar das Abstract offensichtlich KI-generiert ist, flößt mir kein Vertrauen in die Gründlichkeit der Forschung ein.
- velrim
Ich bin mir beim Paper nicht sicher, aber die Ergebnisse ergeben Sinn, wir sehen das auch bei der PDF-Extraktion. Felder, die nicht im Dokument sind, werden je nach API in 11 bis 40 % der Fälle erfunden. Das Ganze ist unangenehm, auch weil es nicht nur ein KI-Problem ist. Als wir die menschlichen Labels überprüft haben, die wir in unseren Evaluierungen verwendet haben, waren 40 von 142 Antwortschlüsseln, die eine Abwesenheit behaupteten, falsch. Knifflige Sache.
- udik2
Kann KI-geschrieben sein. Habe meine KI benutzt, um den Kern davon zu erfassen. Eines, von dem ich glaube, ist, dass LLMs als reines Werkzeug betrachtet werden müssen und dazu gebracht werden können, auch Auslassungen aufzuzeigen. Der Grund ist einfach. Um herauszufinden, was fehlt, muss man die richtigen Fragen stellen, wie man beurteilt, und wenn das vorhanden ist.