AI 탐지 도구 Pangram, 45권의 오래된 책을 스캔해 '암기' 오류 테스트

Scanning for Pangram Errors

Pangram은 문학상 수상작의 AI 생성 글을 잡아낸 AI 탐지 도구로, 오탐률이 1/10,000에 불과하다고 주장한다. 로맨스 소설 커뮤니티 운영자는 이 도구의 정확성을 검증하기 위해, 디지털화된 적 없는 오래된 책 45권을 스캔하고 OCR로 텍스트화하여 Pangram에 입력했다. 결과적으로 Pangram은 인간이 쓴 글을 AI로 오탐하지 않았으며, AI로 분류된 일부 세그먼트는 OCR 도구인 Mistral의 환각에 의한 것이었다. 이 실험은 Pangram이 훈련 데이터를 암기하는 것이 아니라 실제로 AI 글을 감지함을 시사한다.