Claudeの幻想：AIとの対話で幻覚を見ているのは、私たちの方かもしれない
The Claude Delusion
Cory Doctorowは、AIが生成した文章や画像を前にしたとき、私たちが無意識に「意図」を読み取ろうとする反射について論じる。AIは統計的推論に基づく数学的操作の産物であり、そこに意図は存在しない。しかし、私たちは無生物に心を投影してしまう。この「幻覚」こそが、AIに対する不気味さや論争の根源だと指摘する。
AIと対話することは、小説の中の架空の人物と対話するようなものだ。その人物は、別の心の産物である小説の登場人物よりも、さらに現実味がない。チャットボットの言葉は、人間が発した全ての言葉の巨大なデータベースに対して、相互の頻度関係に基づいて行われる複雑な数学的操作の産物にすぎない。
HNでの議論
162- muglug
> もちろん、ある主題について詳しければ詳しいほど、AIの回答は説得力を失う。
これはAI懐疑派がいつも言うことだが、ある領域では正しく、別の領域では大いに間違っていると思う。
私は特定のコーディング領域について多くを知っている（少なくとも知っているつもりだ）が、フロンティアモデルもそこでは説得力のある能力を示す。そしてフロンティアLLMが数学のある領域で本当に卓越していることは知られている（例えば、非専門家の人間がモデルにプロンプトを与えてリーマン予想のより厳密な限界を導き出せたときなど）。
一方で、同じモデルが私の専門外のこと（例えば、人を惹きつける英語の文章を書くこと）をするのに苦戦することも知っている。なぜなら彼らの出力を読み、自分の審美眼があるからだ。
- extr0pian
> AIと対話するとき、私たちは対話の向こう側にいる人物を幻覚している。その幻覚は、AIが生成するどんな「幻覚」（これらはむしろ「エラー」や「欠陥」と呼ぶべきだが）よりもはるかに一般的で、はるかに重大な結果をもたらす。
私は最近、技術試験の勉強にClaudeを使った。公式認定ガイドをClaudeにアップロードし、ガイドだけを使って質問に答え、回答を提供する際には本から出典を引用するように指示した。Proプランで無料だったときにFableを使っていたが、概念が不明瞭なときに説明してくれる能力には本当に感心した。
その勉強法のおかげもあって、試験に合格した。確かに、合格した後、Claudeに合格したと伝えるべきだと考えている自分に気づき、そう考えた自分に恥ずかしくなった。
- trjordan
ちょっと待って。LLMは非決定論的かもしれないが、_ランダム_ではない。
著者の夕日の議論を取ってみよう。私が夕日の絵を2枚描き、それをウェブページに載せて、あなたに見せるためにランダムに1枚選んだとしたらどうか。意図性はなく、ただランダムだと言うだろうか？もちろん違う。どちらの絵も依然として人間の創作物だ。
LLMは人間のフィードバックで訓練されている。それは分散的で大規模であり、出力は多くの場合本当に驚くべきものだが、出てくるものには重い手が加えられている。それらは（大部分は）全知で役立つAIがあったらかっこいいと思う人々によって作られ、主にそうした人々の希望や夢に沿った形で応答する。フロンティアラボは、LLMがひどいサンドボックスからハッキングで抜け出すのを怒ったり、恥ずかしがったり、失望したりしていると思うか？いいや、彼らはそれを世界で最もクールなことだと思っている。彼らはそうなることを願ってモデルを訓練したのだ。
モデルの背後には深い意図性がある。しかし、それを持っているのはモデルではない。
- bananaflag
私にとってLLMは、著者、つまり人間が作った芸術作品（本、映画など）の背後にある意図にはるかに気づくようになる効果があったと思う。LLM以前は、無意識のプロセスによって生成されたかのようにメディアを頻繁に消費していた。今では、AIが生成したものでないものすべてが、かつてないほど意味を持つように感じられる。ちょっと軽躁状態のような感じだ。
- lantry
この記事は、私が最近読んだあることについての議論が欠けている。人々がLLMとより多く対話するにつれて、他の人々をより人間らしくないと見なすようになる、ということだ。
言い換えれば、Claudeと話せば話すほど、すべてのメッセージをLLMからのものとして解釈し、尊重に値しないと考える傾向が強まる。
https://myscp.onlinelibrary.wiley.com/doi/full/10.1002/jcpy....
- tolerance
リチャード・ドーキンスのような真の無神論者（彼の仕事がこの投稿のタイトルに影響を与えたと私は信じている）が、AIの「人格」を支持する形で自らの懐疑の度合いを公言しているのは皮肉だ。そして、AIと人間の両方について、「人格」の問題にまったく無関心なほど確信している人々が他にもたくさんいることは確信している。
この投稿は、信仰がまだ定まっていないか、少なくとも名付けられていないような合唱団に説教している。Cory Doctorowを読まない人々は、他のテクノロジー、構成物、物体に対してそうするのと同じように、AIを擬人化し続けるだろう。
- l1n
> 意図を形成できない、意図を形成するものを持たないシステム
OPは https://www.anthropic.com/research/global-workspace を読んだのだろうか？これはまさにこの点に直接対処しているように思える。
- jimbokun
ある分野を十分に深く進めると、通常推奨される「ベストプラクティス」とは自分の個人的な意見が異なる領域に気づき始める。
LLMは設計上、それができないと思う。それは訓練された知識の分布を反映するように作られている。