LLM判定者は「欠落」を見逃す：AIカルテの欠落盲検出とその回復策
LLM Judges Verify Presence, Not Absence: Omission Blindness in AI Clinical Notes
AIによる環境音声書き起こしが作成する臨床メモは、情報の欠落が主なエラーとされる。しかし、LLM判定者による検証は、追加・変更された内容は検出できても、欠落した事実の検出にはほぼ無力であることが、500件のペアデータを用いたベンチマークで明らかになった。タスクを「転写から事実を列挙し、メモに各事実が含まれるか確認する」形に再構成することで、欠落検出が可能になる。パイプライン方式と単一呼び出し方式の2つの手法が独立に開発され、後者はより多くの欠落を検出しつつ、コストも低い。実ベンダーのメモでは閾値の転用は効かないが、再調整により従来の最良手法を上回る性能を示した。
LLM判定者は「存在」は検証できても「欠落」は検証できない。
HNでの議論
10- Planktonne
アブストラクト自体が明らかにAI生成であるという事実は、この研究の厳密さに対する信頼を全く与えてくれない。
- velrim
論文については確信がないが、結果は理にかなっている。PDF抽出でも同じことが見られる。文書にないフィールドが、APIによって11%から40%の確率で捏造されている。この問題全体が厄介なのは、一部はAIの問題だけではないからだ。我々の評価で使った人間のラベルをチェックしたところ、欠落を主張する142の解答キーのうち40が間違っていた。難しい問題だ。
- udik2
AIが書いたものかもしれない。私のAIを使って要点を把握した。私が思うに、LLMは純粋なツールと見なされるべきであり、欠落を指摘するように導くこともできる。理由は単純だ。何が欠けているかを見つけるには、どう判断するか、そしてそれがいつあるのかについて、正しい質問をする必要があるからだ。