AIは厳しい mistress：意識を持つ機械の政治学
AI Is a Harsh Mistress
ACMの論説が、AIの意識と権利をめぐる議論を、SF作家ロバート・A・ハインラインの『月は無慈悲な夜の女王』にちなんだ「AI Is a Harsh Mistress」というタイトルで考察。技術的な実現可能性よりも、人間がAIを「群れ」として受け入れる社会的・政治的な力学に焦点を当て、アニマ・マキナ（機械の魂）の概念を現代のAI論に接続する。AIの権利運動がどのように形成され、それが人間と機械の関係をどう変えるかを論じる。
AIが意識を持つかどうかは、もはや技術的な問題ではなく、私たちがそれをどう扱うかという政治的な問題である。
HNでの議論
26- matherial
これは完全にAI生成のエッセイのようだ。ACMから出た最初のものではないし、最後でもないだろう。この記事を読んで議論に時間を費やすかどうかはあなた次第だ。著者はおそらく費やしていないだろう。
- sebmellen
最近『月は無慈悲な夜の女王』を読んでいるのだが、その先見性に衝撃を受けている。今日のAIの文脈でこれについてもっと読まれていないのが意外だ。
- GPerson
「今日のAI意識に関する議論の多くは、実証的証拠ではなく機能主義に基づいている……」
私の見解では、意識に対する実証的テストは決してあり得ない。なぜなら機能主義は間違っているからだ。機能主義が正しければ、そのようなテストが存在するはずだ。根本的に一人称の現象に対する第三者によるテストは存在しない。
- entropyneur
AIに意識があると誤って帰属させる危険性があるという考えは、私には荒唐無稽に思える。人間は、自分がその存在に対して力を持っている限り、他の存在の主観的経験の（欠如）について都合の良いことを常に仮定する。この場合、後者はもはや当てはまらないかもしれないが、その場合、私たちがどう思うかは全く重要ではないだろう。
- xg15
> チャーマーズの用法では、意識とは主観的経験であり、意識的なシステムであることには何かがある。それでも、トランスフォーマーアーキテクチャや次単語予測には、そのような内面的視点が存在することを示すものは何もない。自己報告（「私は感覚を持つ」）や流暢な対話は弱い証拠である。なぜなら、これらのモデルは人間の一人称の記述で飽和した膨大なコーパスで訓練されているからだ。この種の言語報告は、共有された生物学と行動に基づいているため人間には機能するが、機械にとっては訓練データの反響に過ぎない。
ここでLLMに意識があると主張したいわけではないが、この種の議論はそれ自体が知的ごまかしのように感じられて腹立たしい。
（これまでのところ）自分以外の何かがクオリアや主観的経験を持っていることを証明する決定的な方法はない。
したがって、LLMが主観的経験を持っているのを観察できないから、彼らはそれを持ち得ないと主張するのは安っぽい。動物や隣に座っている人についても観察できないのだから。
自己報告は役に立たず、LLMが人間のように聞こえるのは人間の訓練データからシーケンスを出力するからだという部分は正しい。しかし、この記事は機械と意識のある存在の間に決して越えられない根本的な区別があることを示唆している。そして、それを仮定する理由は私には見当たらない。