AI医療記録の誤記載で患者が涙、腎臓手術後に幻覚症状を指摘される
Error by AI scribe during medical appointment leaves patient devastated
オーストラリアのABCニュースが報じたところによると、泌尿器科の初診でAIによる診療記録作成に同意した女性が、AIが「幻覚」で偽の症状を記録し、手術後の書類に「マジックマッシュルームを微量摂取している」と記載された。この誤りにより、女性は精神的苦痛を受け、労災補償に影響する恐れもあった。プライバシー監視団体の調査では、AI scribeが誤った診断や症状を生成するリスクが指摘され、医師による確認不足が問題視されている。オーストラリアでは約40%のGPがAI scribeを利用しているが、規制は未整備で、TGAが審査中。専門家は、患者の同意取得の徹底やAIの定期的な検証を求めている。
「AIは大好きですが、不可欠な要素は人間です。結局、今回起きたことは人間の関与の欠如が原因です」
HNでの議論
130- kioleanu
このスレッドのコメントには、「でも人間も間違いを犯す」から「でもAIは人間に比べてどれだけ間違いを犯すのか」まであって、私は衝撃を受けている。どちらもここでの要点ではない。医師たちが支援ソフトウェアとしてAIを採用していて、そのソフトウェアに欠陥があるのだ。私はソフトウェア開発者だが、もし私が医療ソフトウェアを書いて、その中にこれほど明白なバグがあったら、地獄を見ることになるだろうし、訴えられて破滅する可能性だってある。
- pizzly
もう一方の側面として、私は医師が医療ファイルで個人的に間違いを犯すのを目撃したことがある。彼らは過労で、診察時間は15分だけで、早く患者を追い出そうと急いでいるから、当然間違いを犯す。転写ソフトウェアと人間のどちらがより多くの間違いを犯すかを比較するのは興味深いだろう。答えは非常にニュアンスに富んだものになるだろう。例えば、転写ソフトウェアが訓練されていないアクセントで失敗するか、クリニックがどれだけ過労であるかなどだ。
- Arn_Thor
仕事を最適化することはできる。しかし、仕事を最適化してなくすことはできない。医療のように、人間の注意力、専門知識、判断力に依存するなら、訓練された医師が転写を見て内容を注意深く考える時間を持つ必要がある。もしAIを医師が各患者の症例に費やす時間をさらに減らすために使うなら、それは間違った方向だ。コスト削減に役立つべきではなく、ケアの質を向上させるのに役立つべきだ。
- newsomix9xl
AIが明らかにサイロシビン摂取を幻覚しただけでなく、医師もまた内出血をリスクとして幻覚した。これはそのようなキノコの既知のリスクではない。しかし、これは少しクリックベイトのように思える。医療記録に異議を唱えることはできるし、おそらくAI転写サービスもそこに含まれるだろう。オーストラリアがその点で特別でない限りは。
- arjie
古典的なwhisperモデルは、無音の瞬間にもテキストを出力する。これらの多くは単にそれをラップしただけだ。最小限のことだけをするわけにはいかない。まあ、やれば売上は得られるだろうが、問題を正しく解決することはできないだろう。私のいとこは患者の同意を得てこれらのアプリの1つを使っていたが、その後、音声を聞いてすべてを書き直さなければならなかったと言っていた。その理由で使用をやめた。時間の節約にもならなかった。奇妙なことに、ロビンは本当にタイミングを誤ったと思う。彼らは最先端の技術が登場したちょうどその時にやめてしまい、人間が介在する転写があれば、かなり有用だったかもしれないのに。
- tanelih
＞AIを使い始めて最初の数週間は、人々はかなり注意深くチェックするが、その後、正しいと仮定してチェックをやめるという証拠がある。
これは人々が見落としがちな問題であり、議論で十分な重みを与えられていないと思う。
このような深遠な技術（AIやソーシャルメディアなど）が展開される際には、より長期間にわたって「人間の視点」からの研究を受けるべきなのだろうかと疑問に思う。
しかし、現在のシステムではそれは不可能かもしれない。
- eelioss
医師が転写を少しレビューする必要がないことに驚いている。私はデプロイ前にコードをレビューしなければならない。
- red75prime
一人の人間の苦闘を生き生きと描写することで、範囲に対する鈍感さを簡単に打ち砕くことができる。問題は、AIがエラー率にどのように影響するかだ。