AI 탐지 도구 Pangram, 같은 글을 100% AI와 100% 인간 작성으로 동시에 판정하다

I wouldn't say Pangram is broken, but I would say that it's brittle

작가 Freddie de Boer가 자신의 글 일부가 AI 탐지 도구 Pangram에 의해 '100% AI 생성'으로 판정된 사건을 분석한다. 그는 전체 에세이는 '100% 인간 작성'으로, 그 안의 300단어 구간은 '100% AI'로, 다시 그 구간을 쪼갠 조각들은 '100% 인간'으로 판정되는 모순을 발견했다. 또한 인간이 쓴 글에 ChatGPT가 생성한 문장을 섞으면 전체가 '100% AI'로 판정되고, AI 생성 텍스트를 인간 글에 묻으면 '100% 인간'으로 통과하는 등 탐지기를 쉽게 속일 수 있음을 실험으로 보여준다. 저자는 이러한 불일치가 AI 탐지 도구의 신뢰성을 심각하게 훼손하며, 특히 한 번의 판정으로 글쓴이를 매도하는 데 사용되는 현실을 우려한다.