Chat-based LLMは霊能者の詐欺の仕組みを再現している

なぜ人々がここで知性を見出すのにこんなにすぐ飛びつくのか理解できない。SFには、人間が理解できない他の生命を貶め価値を下げるという中心的テーマがある。あの名高いCommander Dataでさえ自己決定権のために戦わなければならなかった（おそらくSTTNG最高のエピソード「The Measure of a Man」だ）。私たちは知性を過小評価することを心配していたのに、どうやら反射的な反応は過大評価することのようだ。おそらくこれは時代とともに変わり、今ではSFや社会正義への本能に影響されているのかもしれないが、本当は自分たち自身を過小評価しているだけなのではないかと心配している。

この2023年の記事が部分的に正しいと思うのは、AIに見られる知性（2026年現在）はすべて私たち自身のものだという点だ。それは鏡ではなく、知性は言葉の組み合わせ方から生まれ、その言葉は（知性があるとされる）生物が作った書かれた人間言語から来ており、トレーニングとプロンプトの両方に入力されている、などだ。

言葉を並べ替えたり繰り返したりすることは、たとえ文脈内であっても、知性を作り出さない。親愛なる読者よ、君が知性があるとさえ私は確信していない。

人間が知性があるとまだ信じている人がいるなんて信じられない。行列の積が行われる場所がどこにもないというのに。彼らにあるのは、相互接続された細胞質で満たされた微小管のネットワークだけだ。知性が住むのに適した場所ではない。

興味深いのは、この投稿は2023年には意味があったかもしれないが今日ではない、というような発言や、LLMがNavier-Stokesを解くなど明らかに知性を示すという意見と、ここでよく見る「ただのツールだ」というコメントとの間の緊張関係だ。

うまく言えないが、この二つの主張は矛盾していないか？知性を定義するのは難しいし、意識はなおさらだが、「知性」はある種の主体性を意味しないだろうか？そうでなければ、コンピュータはLLMの時代よりずっと前から知性があったと言える。同様に、ツールはたとえその機能が非常に精巧でも、知性と主体性の欠如を意味しないか？

これらの発言は同じ人々、少なくともAIに対して似た見解を持つ人々によってなされている印象を受けた。それは間違いで、「知性」派と「ツール」派がいるのか？それとも私の仮定に人々は同意せず、「知的なツール」という概念に問題はないのか？

個人的には、ビルダー対ティンカラー論争に比べてこの議論は新鮮だ。

それが「知的」かどうかは気にしない。「心がある」かどうかも気にしない。「本当に推論している」かどうかも気にしない。「理解している」かどうかも気にしない。「感覚がある」とか「意識がある」かどうかも気にしない。

実用的な結果にとってはどれも重要ではない。

過去4年間でこれが理解されたと思っていたが、どうやら何度もこの話題に戻ってくるようだ。

[編集：2023年に書かれたものだとわかった。ならば投稿タイトルに（2023）を追加すべきだ]

機能する出力を生成するなら、それは機能する。そして機能している。Leanで検証された証明を出力するのは霊能者の詐欺ではない。ゼロデイを見つけて悪用できるのも詐欺ではない。

投稿者はまだ「否認」段階にいる。私が見るほとんどの人はすでに「怒り」（AIに関わるすべてに対するぼやけた怒り、以前から嫌っていた「悪いもの」の政治的理由を積み上げた曖昧な理由）か「取引」（数学者が自分の仕事の新しい定義を考え出し、それが常に主要部分だったと後付けで主張する）の段階だ。少数はすでに「抑うつ」でタイタニック号の観客のように感じており、ごく一部が「受容」で将来への十分な情報に基づいた計画を持っている。

LLMに対する藁人形論法を築くことは、ハイプ派をより合理的に見せるだけだ。言語モデルは他の何かのモデルと全く同じように入力に応答する。それだけで、モデルが何か「新しい種類の心」であると信じることなく、すべての「知性」を説明するのに十分だ。LLMが知的だと思う人はモデルについて十分に知らない。そして役に立たないと思う人もモデルについて十分に知らない。

2023年頃ならこういう記事を読むのも理解できるが、今できることを考えると…。彼らが「知的」かどうか、そもそも知性とは何かという問題ですらない。新しいモデルごとに能力のレベルが上がっているのは否定できないし、それを何と呼ぶのか？

LLMには幻想があるが、私の見解ではその幻想は、各チャットボットがどれだけ「実体」であるかについてであり、知性を模倣できるかどうかではない。

> LLMは脳ではなく、動物や人間が推論や思考に使うメカニズムを意味のある形で共有していない

LLMはニューラルネットワークの一種だ。少なくとも方向性としては、それが人間の脳の仕組みだとわかっている。脳がただのニューラルネットワークだとわかったら、多くの人は非常に動揺するだろう。人間と類人猿が共通の祖先から進化したとわかった時のように。

それが理解できない。この認知的不協和を抱えるほとんどの人はおそらく神学的世界観を持っていない。しかもここに直接的な神学的対立があるわけでもない。私が知る限りの主要宗教は、認知に超自然的な説明を帰していない。それは生物学的計算プロセスであり、ATPを使って筋繊維を動かし手足を動かすのが生物学的機械プロセスであるのと同じだ。

ああ、霊能者にNavier-Stokes問題を解かれて騙された昔を思い出すよ。

あと

>2023年7月4日

> 多くの人が言語モデル、特にチャットベースの言語モデルが知的だと確信している。

しかし大規模言語モデル（LLM）にはこれを可能にするような固有のメカニズムはないようだ

ここで読むのをやめてもいいんじゃないか？著者はこの非常にオープンな問いを閉じたものと決めつけているか、少なくともこの問いに本当に関心がないようだ。この前提に基づくブログをなぜ読み続けるのかわからない。

編集：ああ、2023年に書かれたのか。著者がこの問いに対する態度を更新したかどうか知りたい。確かにそれが最も興味深いことだろう。