Chat-based LLMは霊能者の詐欺の仕組みを再現している
Chat-based Large Language Models replicate the mechanisms of a psychic's con
Chat-based LLMが知的であるという幻想は、霊能者の詐欺で使われるコールドリーディングと同じ仕組みだという指摘。Forer効果を利用した検証ステートメントや主観的検証ループによって、統計的にありふれた応答が個人に特化したものに感じられる。著者は、LLMには知能も推論もなく、この錯覚はユーザーの心の中にあると主張する。
霊能者の詐欺は、何世紀にもわたって磨かれてきた、人を騙すための定番の手法だ。
HNでの議論
210- bonoboTP
「知的」かどうかなんてどうでもいい。「心がある」かどうかもどうでもいい。「本当に推論している」かどうかも、「理解している」かどうかもどうでもいい。「感覚がある」とか「意識がある」とかもどうでもいい。
そんなことは実用的な結果には何の関係もない。
この4年でみんな理解したと思っていたのに、どうやら堂々巡りが続いているようだ。
[編集：これが2023年に書かれたものだと気づいた。ならば投稿タイトルに（2023）を追加すべきだ]
もし機能的に使える出力を生み出すなら、それは機能している。そして実際に機能している。Leanで検証済みの証明を出力するのは霊能者の詐欺じゃない。ゼロデイを見つけて悪用できるのも詐欺じゃない。
OPはまだ「否認」の段階にいる。私が見る限りのほとんどはすでに「怒り」（AI的なものすべてに対するぼやけた怒り、以前から嫌っていた「悪いもの」を政治的な理由でかき集めた曖昧な理由によるもの）か「取引」（数学者たちが必死に自分の仕事の新しい定義を考え出し、それが常に本質だったと後付けで主張する）の段階だ。すでに「抑うつ」でタイタニック号の見物人のように感じている者も少数おり、ごくわずかは「受容」して、ある種のよく考えられた将来計画を持っている。
- sethev
ここでの難しさは、LLMが知的か、心を持っているかを決めようとすることにある。有名な話だが、知能の基準は技術が進歩するたびにずれていくように見える。しかしTuringに遡れば、彼のテストは私たちが覚えているよりもずっと慎重に表現されていた。彼は、機械がテストに合格できるようになったとき、それらが知的かどうかという問いは無意味になると述べた。まさに私たちが目にしているのはそれだろう。人々が違いを見分けられなければ、「真に知的」かどうかはほとんど問題にならないのだ。
- rahidz
ああ、霊能者にNavier-Stokes問題を解かれて騙された昔を思い出すよ。
あと
>2023年7月4日
- Method5440
なぜ人々がこんなにすぐにここに知能を見出そうとするのか理解できない。SFには、人間が理解できない他の生命を貶め、価値を下げるという中心的テーマがある。あの名高いCommander Dataでさえ自己決定権のために戦わなければならなかった（おそらくSTTNG最高のエピソード『The Measure of a Man』だろう）。私たちは知能を過小評価することを心配していたのに、どうやら脊髄反射的には過大評価してしまうらしい。おそらく時代とともに変わり、今はSFと社会正義への本能によって準備されているのかもしれないが、本当は自分たち自身を過小評価しているだけなのではと心配になる。
この2023年の記事が部分的に正しいと思うのは、AI（2026年現在）に見る知能はすべて私たち自身のものだという点だ。鏡だというのではなく、知能は言葉の組み立て方から来ており、それは（おそらく）知的な生き物によって作られた人間の書き言葉が、訓練とプロンプトの両方に入力されていることなどに由来する。
言葉を並べ替えたり繰り返したりすることは、文脈内であっても、知能にはならない。親愛なる読者よ、私はあなたが知的だとも確信していない。
- daishi55
>多くの人が言語モデル、特にチャットベースの言語モデルは知能があると確信している。
しかし大規模言語モデル（LLM）にはこれを可能にするような仕組みが内在していない
ここで読むのをやめればいいんじゃないか？著者はこの非常に未解決な問題をすでに決着済みだと思い込んでいるか、少なくともこの問題に全く興味がないようだ。この前提に基づくブログをなぜ読み続ける必要があるのかわからない。
編集：ああ、2023年に書かれたのか。ならば著者がこの問題に対する態度を更新したかどうか知りたい。確かにそれが一番興味深い。
- pohl
人間が知的だとまだ信じている人がいるなんて信じられない。行列の積が行われる場所なんてどこにもないのに。彼らにあるのは、相互接続された細胞質で満たされた微小管のネットワークだけだ。知能が宿るのにふさわしい場所ではない。
- vhantz
LLMに対する藁人形論法を積み上げるほど、ハイプ派がより合理的に見えてしまう。言語モデルは他の何かのモデルと全く同じように入力に応答する。それだけで「知能」のすべてを説明でき、モデルが何か「新しい種類の心」だとは信じる必要はない。LLMは知的だと思う人はモデルについて十分知らない。役に立たないと思う人もモデルについて十分知らない。
- kraf
人々のモデル理解がnext token predictionで止まってしまうのがいつも不思議でならない。これってRL訓練を完全に無視していないか？何か誤解しているかもしれないが、私の考えではこの問題はずっと曖昧なものになるはずだ。