AI가 쓴 글은 왜 읽기 어려울까 — 모델은 '소통'이 아니라 '정보 밀도'에 최적화됐다
Why is AI generated language so hard to understand?
AI 생성 텍스트가 유독 읽기 힘들다는 인식이 퍼진 가운데, 연구진은 심리언어학적으로 처리 부담을 높이는 요소들을 분석했다. 최신 모델 9종 모두 인간보다 무생물 주어에 동작 동사를 붙이는 표현과 저빈도 n-gram을 더 많이 썼고, 대화에서는 긴 의존 구조와 명사 중첩, 축약된 목적격 관계절도 잦았다. 저자들은 인간 언어가 성공적 소통에 맞춰진 반면 AI 텍스트는 수학·코드·추론처럼 정보 밀도를 요구하는 목표에 최적화되면서 벌어진 괴리라고 본다. 길이 페널티를 걸어 미세조정한 모델이 인간과 멀어지는 실험으로 이를 입증했다.
인간의 언어는 성공적인 소통에 최적화되어 있지만, AI가 생성한 텍스트는 수학, 코드, 추론 같은 다른 목표에 점점 더 최적화되고 있으며, 그곳에서는 성공적인 소통보다 정보 밀도에 대한 압력이 작용한다.
HN 토론
148- dividefuel
테크니컬 라이터로서, 저는 기본 AI 응답이 실제로 좋은 글쓰기가 아니라 사람들이 '좋다고 생각하는' 글쓰기에 최적화되어 있다고 생각합니다.
제 추측으로는 수년간의 RLHF가 평가자들이 어떤 글이 얼마나 잘 쓰였는지에 대한 첫인상에 최적화된 결과입니다. 목록을 사용하죠! 제목이 있죠! '결정적 증거' 같은 재미있는 표현을 쓰죠! 길고 유익하죠! 이런 것들은 비교적 빠르고 쉽게 식별하고 선호로 선택할 수 있습니다.
하지만 이 중 어느 것도 응답이 _청중에게 유용한지_를 다루지 않습니다. 당신이 청중이 아니라면 무엇이 유용하고 유용하지 않은지 판단하기 어려울 수 있습니다.
- cryzinger
논문에서 언급되지 않아 놀란 구성 중 하나는 (물론, 선택할 수 있는 옵션이 많았을 테니... 어딘가에서 선을 그어야 하니까 :P) LLM이 타동사를 자동사처럼 사용하는 것을 좋아한다는 점입니다[0]. 인간 글쓰기에서는 거의 볼 수 없는 방식으로요. 기껏해야 문장을 이상하게 모호하게 만들고, 최악의 경우 거의 이해 불가능하게 만들며, 정확한 언어가 필수적인 기술적 맥락에서 특히 짜증납니다. 물론, 나는 그것이 말하려는 바를 교육적인 추측으로 알 수 있지만, 소위 문서가 독자/사용자에게 교육적인 추측을 요구한다면 뭔가 심각하게 잘못된 것입니다.
[0] 예를 들면 이런 것입니다:
"사용자가 버튼을 누르면 양식이 제출된다."
"submit"의 유효한 자동사 용법이 있지만, 이 맥락에서 말이 되는 것은 없습니다. 이 경우 "submit"은 목적어가 필요하거나 ("양식이 데이터를 제출한다"--아마 간접 목적어도, "양식이 데이터를 서버에 제출한다") 목적어를 절대 제공하고 싶지 않다면 "양식이 제출된다"로 바꿔야 합니다.
- lukev
LLM은 우리가 인지라고 생각하는 것의 상당 부분이 사실 '마음'(생물학적이든 인공적으로 구현되었든)의 속성이 아니라 언어라는 정교한 기호 체계의 일부임을 보여주고 있습니다.
LLM이 생성한 텍스트는 이해하기 어렵습니다. 완벽하게 좋은 언어이고 유효한 인지 및 정보 패턴을 따르지만, 다른 마음의 의도나 정신 모델을 반영하지 않기 때문입니다.
- anigbrowl
AI 훈련 코퍼스에는 비판적 능력을 마비시키고 행동을 유도하도록 설계된 방대한 양의 상업적 언어가 포함되어 있다는 점도 고려하세요. 마찬가지로 수많은 오피니언 기사도 포함되어 있는데, 이는 설득을 목적으로 하며 종종 수사적 오류를 활용합니다. 냉소적으로든 저자의 불완전한 사고 과정의 반영으로든 말이죠.
- orbital-decay
늘 그렇듯 대부분의 댓글 작성자는 헤드라인에만 반응하므로, 그들의 결론을 인용합니다.
>우리는 이 결과를 GRPO를 사용한 강화 학습 중 길이 패널티가 문법적 특징에 직접 영향을 미칠 수 있다는 개념 증명으로 받아들입니다. 우리는 모델이 압축되거나 밀도 높은 언어를 사용하도록 직접 지시받지 않았고, 통사적 교체의 가용성에 대한 정보도 직접 주어지지 않았다는 점에 주목합니다. 오히려 패널티는 통사적 교체의 더 짧은 구성원에 대한 창발적 선호를 초래했습니다. [...] 우리는 검증 가능한 보상의 사용이 정확성을 인간과 유사한 의사소통과 분리시키는 환경을 조성하여 모델이 새롭고 잠재적으로 덜 이해하기 쉬운 언어 사용 분포로 수렴하게 한다고 추측합니다.
이것은 모델과 훈련을 만져본 사람이라면 누구나 상식처럼 들리지만, 누군가는 여전히 정량화해야 하므로 그들이 해낸 것은 좋습니다. 또한 이것은 Claude의 기본 레지스터에서만 나타나며, 프롬프트를 주면 여전히 다르게 쓸 수 있다는 점을 지적하고 싶습니다.
- noosphr
AI가 생성한 텍스트에는 물리적 현실에 대한 인간 중심의 근본 모델이 없으며, 그 결과 은유가 고문당합니다.
말하는 지네가 있다면 아마 비슷한 결과가 나올 텐데, 이유는 다를 것입니다.
- lxe
https://gist.github.com/lxe/4cd2ca0fd3b714b25f138227c8c650d3
저는 이 글쓰기 명료성 프롬프트를 계속 반복 개선해 왔습니다. 우리가 생각해낸 용어는 "참조적 생략과 반복적 수사적 종결을 동반한 무접속 병렬"입니다. 현대 AI 글쓰기에 대해 제가 가진 정확한 문제를 완전히 설명하지는 못하지만, 거의 맞습니다.
- bassie123
AI는 인간의 읽기를 위해 최적화된 것이 아니라, 가능한 한 적은 컨텍스트나 토큰으로 최대한 많은 정보를 담도록 최적화되었기 때문입니다.
(예: "baseline system state transition latency validation")을 전치사로 풀어 쓰는 대신 ("validating the latency of state transitions in the baseline system").
저는 두 문단 전에 무슨 말이 있었는지 잊어버려서 책을 전혀 읽을 수 없습니다. 텍스트 훑어보기를 잘하는 사람들은 AI 생성 텍스트에 문제를 덜 느낄 것이라고 확신합니다.