AIの文章が読みにくいのはなぜか、その原因を研究が解明
Why is AI generated language so hard to understand?
AI生成テキストが読みにくいという声は広く存在する。研究チームは多様な分野のAI生成コーパスを分析し、9つの最先端モデルすべてが人間の文章より無生物主語と有生動詞の組み合わせや低頻度n-gramを多く使い、会話では長い依存関係や名詞の連鎖も目立つことを発見した。原因として、人間の言語が伝達のために最適化される一方、AIは数学やコード、推論のために情報密度を重視するよう最適化されているという仮説を提示し、長さペナルティ下での微調整で検証している。
人間の言語は円滑なコミュニケーションのために最適化されているのに対し、AI生成テキストは数学やコード、推論といった別の目標のために、円滑な伝達よりも情報密度を重視する方向へと最適化されつつある。
HNでの議論
151- dividefuel
テクニカルライターとして思うのは、デフォルトのAIの応答は、人々が「良い文章だ」と*思う*ものに最適化されているのであって、実際に良い文章に最適化されているわけではないということです。
私の推測では、何年にもわたるRLHFが、評価者が「どれだけうまく書けているか」について抱く第一印象に最適化されてきたのでしょう。リストを使っている！見出しがある！「決定的証拠」みたいな楽しいフレーズを使っている！長くて情報量が多い！こうした要素は比較的素早く簡単に識別でき、好みとして選択しやすいのです。
しかし、これらはどれも、その応答が*読者にとって有用かどうか*を本当にカバーしているわけではありません。自分が読者でなければ、何が有用で何が有用でないかを判断するのは難しいものです。
- cryzinger
この論文が言及していないのが意外な構文が一つあります（とはいえ、彼らには選べる候補が山ほどあったのは確かでしょう…どこかで線を引かねばなりませんからね :P）。それは、LLMが他動詞を自動詞的に使うのを好むということです[0]。人間の文章ではほとんど見かけない使い方です。最良の場合でも文が奇妙に曖昧になり、最悪の場合にはほとんど理解不能になります。特に、正確な言葉遣いが譲れない技術的な文脈では非常に迷惑です。ええ、私なら何を言おうとしているのか推測できますよ。でも、いわゆる「ドキュメント」が読者やユーザーに推測を要求するなら、何かがひどく間違っています。
[0] 例えばこんな感じです：
「ユーザーがボタンを押すと、フォームがsubmitする。」
「submit」には有効な自動詞用法もありますが、この文脈で意味が通るものはありません。この場合、「submit」は目的語を必要とするか（「フォームがデータをsubmitする」—さらに間接目的語として「フォームがデータをサーバーにsubmitする」もあり得ます）、どうしても目的語を補いたくないなら「フォームがsubmitされる」に置き換えるべきです。
- lukev
LLMは、私たちが認知だと思っているものの多くが、実は「心」（生物学的に実体化されていても人工的に実体化されていても）の特性ではなく、言語という精巧な記号体系の一部であることを示しています。
LLMが生成するテキストが理解しにくいのは、それが完全に優れた言語であり、有効な認知的・情報的パターンに従っているにもかかわらず、別の心の意図やメンタルモデルを反映していないからです。
- anigbrowl
さらに考慮すべきは、AIの学習コーパスには、批判的思考力を麻痺させて行動を促すように設計された商業的な言葉が大量に含まれていることです。同様に、意見記事も多数含まれており、これらは説得を目的とし、しばしば修辞的誤謬を利用します。それがシニカルな意図によるものであれ、著者の不完全な思考プロセスの反映であれ。
- orbital-decay
いつものことながら、ほとんどのコメント者は見出しに反応しているだけなので、彼らの結論を引用します。
>私たちはこれらの結果を、GRPOを用いた強化学習中に使用される長さペナルティが文法的特徴に直接影響を与え得るという概念実証と見なします。モデルは圧縮された密な言語を使うように直接指示されたわけでも、統語的交替の利用可能性について直接情報を与えられたわけでもないことに留意します。むしろ、ペナルティは統語的交替のより短いメンバーへの創発的な選好をもたらしました。[...] 検証可能な報酬の使用が、正確さを人間らしいコミュニケーションから切り離す環境を生み出し、モデルが新規で、潜在的に理解しにくい言語使用の分布へと収束する原因になっていると推測します。
これはモデルやトレーニングをいじったことのある人には常識のように聞こえますが、それでも誰かが定量化する必要があるので、彼らがやったのは良いことです。また、これはClaudeのデフォルトレジスターでのみ見られるもので、プロンプトを与えれば異なる書き方もできることも指摘しておきたいです。
- noosphr
AIが生成するテキストには、物理的現実に関する人間中心の根底的なモデルがなく、その結果として比喩が無理やりねじ曲げられています。
もし話すムカデがいたら、結果は似たようなものになるでしょうが、理由は異なるでしょう。
- lxe
https://gist.github.com/lxe/4cd2ca0fd3b714b25f138227c8c650d3
私はこの文章明瞭性プロンプトを繰り返し改良してきました。私たちがたどり着いた用語は「指示代名詞的省略を伴う無接続並置と反復する修辞的結語」でした。現代のAI文章に対する私の正確な不満を完全に説明するものではありませんが、近いものです。
- bassie123
なぜならAIは人間が読むために最適化されたのではなく、最小限のコンテキストやトークンで最大量の情報を伝えるように最適化されているからです。
（例えば、「ベースラインシステム状態遷移レイテンシ検証」のように前置詞で展開する代わりに「ベースラインシステムにおける状態遷移のレイテンシを検証する」とはしません）。
私の場合、2段落前の内容を忘れてしまうので、本をまったく読めません。テキストをざっと読むのが得意な人は、AI生成テキストで問題が少ないに違いありません。