Perplexity 인용의 3분의 1이 인용된 숫자를 포함하지 않는다
A third of Perplexity's citations don't contain the number they're cited for
Perplexity의 검색 모델 두 가지가 210개 기술 기업에 대해 310개의 사실 질문에 답한 결과, 1,826개의 숫자 관련 인용 중 34.7%가 접근 불가능하거나 해당 숫자를 포함하지 않는 페이지를 가리켰다. 죽은 링크는 1.3%에 불과했고, 주요 원인은 로그인·페이월 차단(16.1%)과 내용 불일치(16.1%)였다. 주장 단위로는 14.4%가 실패했으며, CEO와 본사 주소 질문에서 가장 높은 실패율을 보였다. sonar와 sonar-pro 모델 간 성능 차이는 없었고, 인용된 URL의 25.1%는 웨이백 머신에 한 번도 저장된 적이 없었다.
숫자는 아마 맞을 것이다. 그러나 그 인용은 그 숫자에 대한 증거가 아니다.
HN 토론
44- breakpointalpha
이 기사는 Perplexity에 대한 조직적인 공격으로 보인다.
오늘 게시된 HN 스레드도 있다:
https://news.ycombinator.com/item?id=49536375
이 링크를 포함하고 있다:
https://trellner.com/reports/manufactured-sources-behind-ai-...
이 사이트는 "trellner.com"과 완전히 동일한 레이아웃과 매우 유사한 About 페이지를 가지고 있다:
- nightpool
이 글에 동의하지 않는지조차 모르겠지만, 이건 정말로 풀뿌리 홍보(astroturfing)처럼 보인다. 왜 지금 HN 첫 페이지에 독립 연구 기관에서 나온 반(反)Perplexity 기사 두 개가 동일한 웹사이트 디자인으로, 같은 사람이 제출한 채 올라와 있는 거지? 내가 미쳐가는 건가?
(https://news.ycombinator.com/item?id=49536375 참조, 거기에도 댓글을 남겼다)
- wrs
Google 검색 "요약"도 마찬가지다. 링크를 클릭하면 Google이 한 진술을 뒷받침하지 않는 경우가 꽤 많다.
그건 그렇고, 이 게시물이 Claude 어조로 쓰여지지 않았다면 더 설득력 있었을 텐데!
- abdullahkhalids
올바른 인용을 하는 자신만의 하네스를 구축한다면, AI에게 문서의 일부를 (링크와 함께) 실제로 복사해서 붙여넣을 수 있는 결정론적 도구에 접근 권한을 주는 것이, 기본적으로 하는 확률적 재생산보다 올바른 방법인가?
- Gecko4072
이것을 직접 경험했다. 출처 A의 미리보기가 있는 인용을 봤는데, 그 출처가 신뢰할 만하다는 것을 알고 있었다. 확인해 보니 Reddit 기사와 기타 덜 신뢰할 수 있는 출처를 참조하고 있었다. 직접 인용이었는데 실제로는 그렇지 않았다.