LLM 판사는 '없는 것'을 못 본다: AI 임상 기록의 누락 블라인드니스와 그 해결책
LLM Judges Verify Presence, Not Absence: Omission Blindness in AI Clinical Notes
AI가 작성한 임상 기록의 가장 흔한 오류는 '누락'이다. 그런데 이를 검증하는 LLM 판사 모델들이 누락을 제대로 잡아내지 못한다는 연구 결과가 나왔다. 연구진은 500쌍의 오류가 포함된 임상 기록을 만들어 8가지 판사 설계를 테스트했다. 그 결과, 추가되거나 변경된 내용에 대해서는 0.79~0.94의 높은 판별력을 보였지만, 누락된 내용에 대해서는 0.50~0.63에 그쳐 거의 동전 던지기 수준이었다. 그러나 사실 목록을 먼저 추출한 뒤 각 사실이 기록에 있는지 확인하는 방식으로 작업을 재구성하자 성능이 크게 개선되었다. 파이프라인 방식은 2.7%의 낮은 오탐률로 누락된 사실과 심각도를 지적했고, 단일 호출 방식은 더 많은 누락을 찾아내면서도 비용이 10분의 1에 불과했다. 연구진은 벤치마크와 프롬프트, 판정 결과를 공개했다.
LLM 판사는 '없는 것'을 확인하지 못하고 '있는 것'만 확인한다.
HN 토론
10- Planktonne
초록조차 명백히 AI가 생성한 것이라는 사실이 이 연구의 엄밀성에 대한 신뢰를 주지는 않는다.
- velrim
논문에 대해서는 잘 모르겠지만 결과는 말이 된다. PDF 추출에서도 우리는 그런 것을 본다. 문서에 없는 필드는 API에 따라 11%에서 40%의 확률로 지어내진다. 이 전체 문제는 단지 AI 문제만이 아니라는 점에서 더 골치 아프다. 우리 평가에 사용한 인간 라벨을 확인했을 때, 부재를 주장한 142개의 정답 키 중 40개가 틀렸다. 까다로운 문제다.
- udik2
AI가 쓴 것일 수도 있다. 내 AI를 사용해서 대략적인 내용을 파악했다. 내가 믿는 한 가지는 LLM은 순수한 도구로 간주되어야 하며 누락을 지적하도록 유도될 수도 있다는 것이다. 이유는 간단하다. 무엇이 빠졌는지 찾으려면, 어떻게 판단할지에 대한 올바른 질문을 해야 하며, 그 기준이 있을 때 가능하다.