为何AI生成的语言越来越难懂？

Why is AI generated language so hard to understand?

大家普遍感觉AI生成的文本最近变难懂了。这项研究深入分析了已知会引发人类理解困难的心理语言学特征，比如宾语关系从句、长句法依赖和低频n-gram。研究发现，与人类写作或回环翻译生成的文本相比，所有前沿及准前沿模型都更频繁地使用无生命主语搭配有生命动词，以及更多低频n-gram。大多数模型在对话中还表现出更长的依赖关系、更多的堆叠名词和简化的宾语关系从句。研究提出一个核心假设：人类语言为成功沟通而优化，而AI生成的文本正越来越多地为数学、代码和推理等目标优化，这些领域更追求信息密度而非沟通效率。通过微调语言模型并施加长度惩罚，研究验证了这一假设，揭示了人类语言处理需求与LLM之间的错位，并指出了可能的解决方向。