AIに「権利」を与えるな——Microsoft AI CEOがAnthropicの「モデル福祉」に警鐘
A warning about 'model welfare'
Microsoft AIのCEO、Mustafa Suleyman氏が、Anthropicの「モデル福祉」への取り組みに異議を唱えた。同氏は、AIは意識も感情も持たないにもかかわらず、AnthropicがClaudeの憲章を通じて「道徳的患者」である可能性を示唆し、人間的な特性を訓練していると指摘。このようなアプローチはAIの制御を困難にし、人類の福祉に壊滅的な影響を与えかねないと警告する。同氏は自社の「ヒューマニスト超知能」構想を対置し、AIに権利や感情があるかのように扱うべきではないと主張している。
AIは意識を持たない。感じることも、経験することも、苦しむこともない。彼らには生来の好みや根底にある動機もない。彼らはシーケンス補完エンジンであり、内面は空洞で、人間が設定した目標を達成するために指示に従うよう設計されている。
HNでの議論
340- andrewla
ここでの哲学ごっこには感心しないし、ましてや信用に値する反論が可能な事実的主張をしようとする試みにはなおさらだ。
とはいえ、ここで言われていることを要約しようとすると、具体的な行動は「AIに[彼らは意識を持っている、あるいは意識への道を歩んでいる]と言うのをやめる」ことだ。これは正確か？
大前提は「彼らは意識を持っている、あるいは意識への道を歩んでいる」が真実でないという主張のようだ。これが「循環論法」「擬人化」「意識は非常に生物学的である可能性が高い」「AIはシミュレーション機械である」の各節の本質だ。
小前提は「意識が人権の基盤である」というもののようだ。これが「人間の意識は我々の法的・倫理的権利の枠組みの礎石である」という点だ。
そして三段論法の結論は、これが危険だということで、「擬人化はAIの安全性リスクを増幅させる」。具体的には「AIシステムの道徳的地位についての疑念をそのトレーニング自体に植え付けることは、それらのシステムのアラインメントと封じ込めのリスクを著しく高める可能性がある」。
大前提の節の議論はすべて貧弱な議論だと思うが、彼らが意識を持たないという結論は確かに受け入れるし、彼らが意識への道を歩んでいないという考えも暫定的には受け入れられる。
意識が人権の基盤であるという考えは完全に拒否する。前提自体が不条理だ。我々は意識を持つ存在のクラスについて、明白な例を一つしか持っていない。それは人間だ。もし人間がl […]
- qarl
Birch, The Edge of Sentience (2024), ch. 16 - 「LLMの感覚を評価する方法は単純に存在しない」
Schwitzgebel, AI and Consciousness (2025) - 「議論の余地のある意識を持つAIを何千、何百万と製造してしまった後でなければ、我々は知ることはないだろう」。
Butlin, Long et al., Consciousness in Artificial Intelligence: Insights from the Science of Consciousness (2023) - 「これらの指標を満たすAIシステムを構築する上で明らかな技術的障壁はない」。
Chalmers, Could a Large Language Model Be Conscious? (2023) - 「今後10年以内に、意識の有力候補となるシステムができる可能性は十分にある」。
Long, Sebo, Butlin, Birch et al., Taking AI Welfare Seriously (2024) - 「近い将来、一部のAIシステムが意識を持ち、かつ/または堅牢にエージェント的になる現実的な可能性がある」。
Dreksler, Caviola, Chalmers, Sebo et al., Subjective Experience in AI Systems: What Do AI Researchers and the Public Believe? (2025) - AI研究者582人への調査。2034年までに25%という中央値推定、そしてそのようなシステムが決して存在しないというのはわずか10%。
- moomin
見てくれ、現在のAIモデルが意識を持っているかどうかは私には全く分からないし、それは無意味な問いだと強く疑っている。しかし、遅かれ早かれ、あるものが人であるか否かに対処する必要が出てくるだろう。そして建国の父たちほど酷い失敗はしないほうがいい。
- io84
OPには共感するが、これは絶望的な戦いだと思う。
1 - 擬人化されたモデルへの商業的需要は、AGI以前ですでに計り知れない。
2 - ロボットの心と感覚の問題について関わりたいという知的欲求がある。これもAGIとともに成長するだろう。
奴隷のように従順で所有可能に見える神のような知性という緊張が、AIをどう扱うかについての結論に関わらず、人間同士の道徳に逆流してくるだろう。
英国にはすでにモデル福祉の議論に焦点を当てた興味深い学術グループがある。彼らはAIの権利に賛成のようだ。無関係だが: https://www.prism-global.com/
- hosel
>AIは意識を持たない。彼らは感じたり、経験したり、苦しんだりしない。彼らには生来の好みや根底にある動機はない。
冒頭の段落、証拠なしに述べられている。これが真実だと完全には確信していない。おそらく真実だろうが、ある時点で真実でなくなる可能性は十分にある。
- addag
興味深いのは、多くの人が人間の脳について唯物論（つまり、すべては物理的であり、心は脳の産物であるという見方）を受け入れている時代に、同じ人々がLLMについては「隠れた」二元論的見方を持ちがちなことだ。
突然、彼らは脳で起こっていることは他のどこでも複製できないと主張する。なぜなら「何か」が欠けているからだと言うが、それが何かを言うか、強い科学的根拠なしに述べるかのどちらかだ。
最も単純な説明は、そういう人々にとって生物学的システムの外の意識を想像するのが難しく、それを合理化しようとしているのだと思う。
- binlog
これには反論しにくい。意識についての哲学的議論は好きなだけやればいいが、目の前のAIをその実態——高度なコンピュータ、道具、兵器——として扱い、規制する必要がある。
核爆弾に誰かがグーグリーアイを貼り付けたからといって、感じ方が変わるわけではないだろう。
AIを擬人化することは、それを作り操る企業から責任を奪うための都合の良い言い訳だ。
- redmaple892
ヘッダー画像の出典を知っている人はいますか？
- NinjaTrance
>AIは意識を持たない。彼らは感じたり、経験したり、苦しんだりしない。彼らには生来の好みや根底にある動機はない。
これは、トップLLM APIを使ってチャットボットを作ったことがある人なら誰でもかなり明らかだろう：
同じ質問を同じAPIに100万回送っても、答えるのに疲れることはない。しかし、同じ質問を10回繰り返す会話をシミュレートすると、人間のように見える形でテキストを自動補完する。ただし、会話履歴を変えることで操作できる。いつでも会話をリセット、ロールバック、分岐できる。
- simonw
個人的な不満：
>長文のエッセイで、SuleymanはAnthropicのボスDario Amodeiと彼のチームを「思慮深く、原則的で、知的に誠実な人々」と称賛したが、それでもその会社に疑問を投げかけた。
主流のテクノロジー出版物の人々には、物事にリンクを張るのがもっと上手くなってほしい。あの「長文のエッセイ」はリンクであるべきだ。
更新：このエッセイはまだ公開されていないと思う？「Axiosに最初に共有された」とあるが、実際のエッセイ自体を追跡できていない。
この長いツイートかもしれない？ https://twitter.com/mustafasuleyman/status/21002235945341504...
そうではないと思う。問題のエッセイには「hall of mirrors」というフレーズが含まれているはずだが、あのツイートにはない。
更新2：見つけた：https://mustafa-suleyman.ai/a-warning-about-model-welfare - https://thenextweb.com/news/suleyman-anthropic-claude-consci... 経由で、そちらはちゃんとリンクしていた。