Anthropic의 워터마크, Claude의 창의성을 조용히 깎아내리고 있다
AI text watermarking and quality loss
EU AI Act의 투명성 지침 시행과 주요 AI 랩들의 텍스트 워터마킹 도입을 앞두고, Anthropic은 워터마킹이 Claude의 출력 품질에 영향을 주지 않는다고 주장한다. 근거는 Google의 SynthID-Text 논문인데, 그 보충 자료에는 '다양성/탐지 가능성' 트레이드오프가 명시돼 있다. 같은 프롬프트에 대한 응답들이 서로 비슷해지고, 재시도나 다중 샘플링으로 신뢰도를 가늠하는 방식도 흔들린다. 저자는 품질 저하가 실제로 일어나고 있으며, 인간 평가는 가장 영향을 받는 부분을 검증하지 않았다고 지적한다.
그들이 정말로 한 세트의 난수를 다른 세트로 바꾼 것뿐이라면, 워터마크가 없는 응답과 이런 차이가 나타나지 않았을 것이다.
- viraptor
흥미로운 리뷰긴 한데, 몇 가지를 뒤섞은 것 같다. Gruber의 주장은 우리가 품질을 희생해서는 안 된다는 것인데, 그 어떤 출처도 그런 일이 벌어지고 있다는 걸 보여주지 않는다. 답변의 다양성이 줄어든다는 건 더 일관되게 더 좋거나/더 나쁘거나/같은 품질의 답변을 얻는다는 뜻일 수 있다. 진짜 temperature=0 답변을 얻을 수 없다고 불평하는 사람들이 많다 — 그들은 오히려 그 일관성을 반길 것이다.
그 문장이 마음에 안 든다는 실용적인 예시는 내 생각엔 별로 좋지 않다. 그냥 답변을 다시 돌리는 대신, 그 스레드에서 계속 이어가며 뭐가 마음에 안 드는지 말하는 게 어떨까? 아니면 20개의 대안을 요청하고, 어떤 게 올바른 방향인지 말한 뒤 20개를 더 요청하는 건? 한 샘플로 처음부터 다시 시도하는 건 시간 낭비이고 품질에 대해 아무것도 시사하지 않는다.
기본적으로, 전부 이론적이다 — 품질이 일관되게 저하되는 실제 벤치마크/샘플을 보여달라.
- ethanj8011
> Natzir Turrado라는 기술 컨설턴트가 실제로 이것을 테스트했다(스페인어 기사). 논문의 설정과 워터마크 키로 오픈 모델에 SynthID-Text를 재현해서. 그는 워터마크된 모델에게 해안 마을로의 기억에 남는 여행을 묘사해 달라고 다섯 번 요청했다. 돌아온 다섯 답변 중 네 개가 거의 동일한 방식으로 시작했다: "내 마음은 아직도 노래해/춤춰, 그 아기자기한 해안 마을로의 여행을 떠올리면…". 워터마크 없는 모델의 경우, 세 개가 서로 다른 방식으로 시작했다.
2/5 대 4/5 테스트는 명백히 타당하지 않은 실험인 것 같다.
- cowlby
이건 이미 일어나고 있다. Claude가 내 모든 콘텐츠에 "네 말이 반은 맞아, 그리고 틀린 반쪽이 유용한 부분이지"라고 워터마크를 찍으니까.