Z-Library 논문, 존재하지 않는 TorrentFreak 기사 인용… AI가 만든 가짜 참고문헌 의혹

최근 몇 년 동안 모델 환각이 어떻게, 얼마나 개선되었는지에 대한 데이터를 가진 분 있나요?

그런 일은 항상 일어나죠. 나쁘긴 하지만, 이제 뉴스 가치가 있는지 의문이에요. 학술 출판은 AI 훨씬 전부터 광대차였고, 이제 더 명백해졌을 뿐이죠. 인용을 조작하는 것의 우스운 점은 하고 싶은 말에 뭐든 인용해야 한다는 거예요. 인문학 논문의 인용 대부분은 정말 필요 없어요.

조작된 참고문헌 목록의 실용적인 단서 하나는, 보통 너무 편리하다는 거예요. 진짜 문헌은 울퉁불퉁하죠. 주장을 부분적으로만 뒷받침하는 인용, 반박하는 연구, 아무도 실험을 안 해본 공백이 있죠. 조작된 목록은 울퉁불퉁함이 없어요. 모든 항목이 붙어 있는 문장을 같은 강도로, 같은 어조로 뒷받침하죠.

다른 점은 텍스트의 확신이 아무 정보도 주지 않는다는 거예요. 인용은 주변 문장과 같은 과정으로 생성되고, [12]가 존재하든 안 하든 'as shown in [12]'라고 쓰는 데는 비용이 들지 않죠. 그래서 '진짜 인용처럼 읽힌다'는 증거가 될 수 없고, 검사는 기계적이어야 해요.

저는 1인 AI 보조 출판사를 운영해요. 출처 확인은

필수지만, 제가 가장 걱정하는 오류를 잡아내지는 못해요.

인용 검사는 조작된 출처를 찾아내죠. 하지만 실제 출처가

말하지 않은 내용에 인용된 경우는 찾지 못해요.

오늘 제 작업에서 그런 걸 발견했어요. 한 문장이 항소법원이

AI 훈련의 공정 이용에 대해 "반대 방향"으로 판결했다고 했죠. 사건, 날짜, 판시 내용 —

모두 정확했어요. 확인 가능한 모든 사실이 통과했죠. 하지만 저는 요약만 읽었어요.

실제 PDF를 열었을 때, 각주 7은 법원이 제 문장이 대조한 생성형 AI 사건과

명시적으로 구별하고 있다고 했어요.

어떤 인용 검사기도 그걸 잡지 못해요. 출처는 진짜였고, 인용문도 맞았어요. 틀은 틀렸죠.

그걸 잡은 것은 무관해 보이는 규칙이었어요: 1차 기록만 인용하고, 요약이나 논평은 절대 인용하지 말 것. 로펌의 글을 출처로 인정했다면, 저는 여전히 틀렸을 것이고 — 여전히 모든 검사를 통과했을 거예요.