AIの意識をめぐる議論は、人間の心の仕組みを逆さまに見ている

グレッグ・イーガンの『順列都市』からの引用：

「反対派はこう答えた。ハリケーンをモデル化しても、誰も濡れない。核融合発電所をモデル化しても、エネルギーは生産されない。消化と代謝をモデル化しても、栄養素は消費されない――実際の消化は起こらない。それなら、人間の脳をモデル化したとき、なぜ実際の思考が起こると期待するのか？」

LLMは人間が妥当だと感じる出力を生成するように訓練されている。それだけだ。それ以外のことは何もしていない。

彼らに感情があり、考えたり推論したりできると言うのは狂気の沙汰だ。

中心的な主張を理解できたなら（混乱して述べられているが）、「意識」とは社会的に決定され、主観的な、自分が気にかける特定のものを表す記述子であるという主張だ。これはどういう意味があるのか？ テディベアを十分に気にかければ、意識を得るのか？

リック・アンド・モーティのパイロット版を思い出す。

「彼らはただのロボットだ、モーティ！」

*血しぶき*

「彼らはロボットじゃない、リック！」

「つまり彼らは官僚だ、モーティ。私は彼らを尊敬しない。」

> 私たちは、それらを気にかけるから、そしてそのときに、それらが意識を持っていると信じる。重要なのは、それには私たち自身も含まれるということだ。

なぜ？ まあいいや、それでいい。誰かが他の誰かを意識を持っていると信じるのは、その人を気にかけているからかもしれない、というのは真実かもしれない。

次の文：

> 言い換えれば、意識はモデルや信念であり、固有の性質ではない。

待って、それはまったく論理的に続かない。誰かが意識を持っているという信念は、誰かが意識を持っていることと同じではない。続くのは、誰かが意識を持っているという信念は信念である、ということだけだ。ありがとう、何も学べなかった。

ブレーズはエンジニア哲学者になろうと必死だが、彼のここでの仕事はどれも役に立たない。なぜ彼がここでこれほど注目されるのか、非常に困惑している。彼が誰とも対話していないのは明らかだ。

私たちは、意識が何かを道徳的考慮に値するものにする核心だと考えていた。なぜなら、生命だけが意識的な行動を示したからだ。今や、意識と区別できない行動を出力できる機械がある。

何かが意識的かどうかを判断する方法を再評価することが、これに対する間違った反応だと思う。すべきなのは、意識が本当に気にかけるべき正しいものなのかを再評価することだ。

おそらく、新しい考慮事項は単に（生物学的な）生命を保存することかもしれない。あるいは、簡単に再現できない複雑さを保存することかもしれない。だから、人間、惑星、社会を気にかけるべきだが、GPUのVRAMの状態は気にかけるべきではない。

AIの意識についての議論を逆さまに考えているなら、AIが意識を得ることを心配する代わりに、人間が意識を失うことを心配すべきなのだろうか？

AIの意識についての議論が逆さまである理由は次の通り：正しい方向は、まず私たちが話している言葉を定義してから、それについて話すことだ。その逆、つまり言葉をめぐって話が展開し、誰もがいつか定義されることを願っている状態は、逆さまである。