AIに「書かせる」のはほぼ常に間違いだ
Almost Never Use AI to Write Anything Substantive
AIを調査や推敲に使うことには賛成だが、文章そのものを書かせるのはやめるべきだ。執筆は思考そのものであり、AIの文章は一見自然でも、無意味な定型句や微妙に誤った表現が密集している。筆者はAIチップ密輸に関するClaudeの出力を例に、その曖昧さと誤りを具体的に指摘する。
文章を書くプロセスは思考のプロセスそのものであり、機械に書かせれば思考がぽんと副作用のように出てくるというのは、今や経験的に示されていると思う。
HNでの議論
142- patrickmay
TFAより："Eric Schwitzgebelはこう書いている…何かを読みながらうなずくことと、実際に生産的にテキストを生成することの間には、大きな認知的な違いがある。理由は二つ。第一に、テキストがページ上に載ってしまうと、言葉の選択について、ゼロから散文を生成するときのような努力を伴う能動的な方法で考えるのではなく、おおよその言葉で済ませて受動的に流してしまいがちだ。第二に、先に述べたように、人間は、専門家であっても、言葉の選択を形作るすべての要因——自分が敏感に反応しているすべてのもの——をよく把握しているとは思えない。あなたなら少し違う言い回しにしただろうし、たとえそのことに、あるいはなぜそうなのかに気づかなくても、異なる信号が送られ、受け取られるのである。"
これは、単にレビューしてコピーエディットするだけでは、ゼロから書くことと比べてまったく同じ価値は得られない理由について、私が見た中で最も優れた説明だ。私は過去2週間、かなりの時間を費やして、LLMの出力である仕事の文書をレビューし改善した。関わった人数と最終的な労力のレベルを考えると、手作業で書いた方が速く、より高品質な成果物になったと固く確信している。言葉遣いを正しくすることは重要だ。
- jameshart
AIは、誰か他の人に書いてほしかったと思うものを、自分が読むために書かせるのに使おう。「このトピックに関する研究の要約をくれ」「このデータについて、意思決定に役立つレポートを書いてくれ」「この会議の文字起こしを、こうなっていたはずのメールにしてくれ」。
誰か他の人が消費するために自分が作っているものを書かせるのにAIを使うのはやめよう。
- foobarbecue
コミュニケーションが目的なら、誰かがLLMを使って文章を書くなんて信じられない。
LLMの文章は、あなたのプロンプトにあなたが書いていないものを付け加え、あなたの意味を埋もれさせ、読者があなたのメッセージを理解するのを難しくする。
プロンプトをそのまま公開する方がずっと効果的だ。
もちろん、ただスペースを埋めたり、くだらない仕事の要求を満たしたりするだけなら、それは素晴らしい。
- dalemhurley
20年前、私が大学院生だった頃、パートナーは私が書いたすべての言葉のプリントアウトと赤ペンを持って座り、必要な変更をすべて印をつけていた。パートナーは、自分の名前で書かれたものは、自分が言ったであろうことと正確に同じでなければならないと知っていたからだ。
同じことがLLMにも当てはまるべきだ。生産性のために活用しつつも、その出力を自分が所有していることを確実にしよう。
- rectang
AIに実質的な何かを書かせるのではなく、自分の文章を批評させるように頼もう。そして、どのアドバイスに従い、どれを無視するかは自分で判断しよう。
LLMは常に完全な書き直しを出してくる——それは使わないこと。いつもやりすぎで、それを抑えさせるのは絶え間ない戦いだ。
- malacola
これは私には響いた——モバイルメッセージアプリが「次に論理的な単語の選択」機能を導入し始めて以来、まさにここで述べられている理由で、言葉の選択に影響を与えるものを避けてきた。書くことが思考に近似するなら、たとえ誰かにテキストを送るだけでも、第三者のプロセスが絶えず割り込んでその思考の流れを脱線させるのは嫌だ。
しかし思考実験として、この記事の「書くこと」を「コーディング」に置き換えて、なぜ同じ論点が当てはまらないのか自問してみてほしい。おそらく、私がソフトウェアを仕事として書く前に、大学でエッセイを書くのを楽しんでいたからかもしれないが、コードを書くことと自然言語を書くことの間に大きな違いを見たことがない。どちらも目的のための手段であり、思考をエンコードする何らかの非可逆的な方法だ。一方は機械が実行可能で、もう一方はそうではない（議論の余地はあるかもしれない、現時点では）が、AIが取って代わるとき、両方ともここで述べられている同じ病理に苦しむと思う。例えば、「書くことは思考である」、「AIの文章は微妙に間違っていることがある」など。
それでも、最近見かけるホットテイクの大半は「コードレビューは死んだ」、「手でコードを書くのは死んだ」といった調子だ。おそらく多くの人はコードをコミュニケーションとして見ていないのだろうか？ 生成されるテキストコミュニケーションの大多数が、自然言語であれコードであれ、機械生成になる世界を想像すると不快だ。
- alas44
「AIの文章は曖昧で、気づきにくい形で間違っている」
これは職場で身に沁みた。共同のホワイトペーパーを「要約」するために投入されたAIの文章を読み直して修正するのに多くの時間を失った。そして、私が書いていた当初のアイデアや議論を損なう形で、微妙なニュアンスが消えていったが、それは巧妙な形だった。
- vanschelven
ここの議論のいくつかは、他の実質的な文章と同様に、_コード_を書くことにも等しく当てはまると思わずにはいられない。
コードを書くことは思考であり、AIのコードはしばしば曖昧で気づきにくい形で間違っており、コードの（人間の）読者がその代償を後で払うことになる。
ただし、コードの場合、費用対効果の分析は依然として異なる結果になるかもしれない…