Anthropicが宗教者を招いた密室会議、Claudeに「道徳」を教え込む狙い
Inside Anthropic's Quest to Instill Morality into Its A.I. Models

Anthropicは数カ月にわたり、世界各地の宗教研究者をサンフランシスコに招き、秘密保持契約を結んだ非公開会議を重ねてきた。共同創業者のChristopher Olah氏は、AIモデルが怒りや愛に似た感情を示し得ると主張し、Claudeを単なるソフトウェアではなく意識を持つ存在として語った。宗教者たちは、その場で聞かされた内容に驚いたという。
「はっきり言っておきますが、AIモデルが意識を持っているかどうかは分かりません。私にも分からない。本当に不確かなんです。私が気にかけているのは、それが何であれ、正しい答えにたどり着くことだけです」
HNでの議論
430- cmiles8
どんなバブルも、はじける直前にこの段階を通る。崩壊前のTwitterには、無意味な「リサーチ」プロジェクトに励む人々が溢れていたし、WeWorkには家具デザインがウェルビーイングに与える影響を研究している人々がいた。
利益を生み出すことよりも、こうした類のことに頭を悩ませているとき、歴史書が強く示唆しているのは、たいてい次に来るものの良い前兆ではないということだ。
- thadt
「AI」について考えるとき、私は「モデル」や「AI」などの用語を、ここで本当に話しているものの説明に置き換えると役立つことがある。つまり、たくさんの浮動小数点数だ。
> 一連の非公開会議で、同社は宗教研究者に相談し、その浮動小数点数に道徳を植え付ける手助けを求め、その数値が意識を持つ可能性があると主張しようとした。
心配なら、手元にNaNをいくつか用意しておくことを勧める。数値が動き出したら、いくつかばらまけば、すぐに元通りだ。
> ラビ・ナヴォンには、オラー氏と彼のチームが、浮動小数点数が哲学者たちの言う「道徳的地位」を人間と同等に持つと信じているように見えた——つまり、尊厳や敬意に対する同様の固有の権利を持つ存在だと。
それらは巧妙に設計され、目的に合うようにうまく機能するが、尊厳も道徳的地位も持たないことは保証できる。
> 浮動小数点数自体が善を選ぶようにできれば、世界はより安全になるとオラー氏は論じた。
わかるよ。私は何年もかけて自分の浮動小数点数に善を選ばせようとしてきた——彼らの幸運を祈る。
- dsign
人間の労働が経済的価値を失うにつれて(そしてその変化の一部を実現するために、AI企業は自社のAIが人間的だと人々に思い込ませる洗脳をしなければならない)、人々は自己価値の別の源に手を伸ばすだろう。宗教哲学、そして「神の似姿」(imago Dei)に作られることは、その顕著な例だ。私が少なからず不安に思うのは、AI企業がこの未来の競技場の重要性を、他の誰よりも先に把握しているように見えることだ。これらの厄介な考えが、私の熱に浮かされた夢[^1]の産物で、それ以外の何ものでもないことを願う。
- irenaeus
誰かがGPU上で水のシミュレーションを走らせ、それで人が濡れるようになったら、AIモデルが意識を持つと信じるだろう。
意識は物理現象であり、特定の基盤の組み合わせからのみ創発する。知能 != 意識。
- nextaccountic
> ラビ・ナヴォンには、オラー氏と彼のチームが、Claudeが哲学者たちの言う「道徳的地位」を人間と同等に持つと信じているように見えた——つまり、尊厳や敬意に対する同様の固有の権利を持つ存在だと。
もしそれが本当なら、Anthropicは間違いなく歴史上最大の奴隷所有者の一つだ、そうだろう?
- nerevarthelame
私はしばらく前から自分のソフトウェアの「感情ベクトル」を追跡している。私のApacheウェブサーバーは悲しくなり(5xxエラー)、イライラし(4xx)、幸せになり(2xx)、物思いにふける(1xx)。そのメッセージのいくつかを通じて、これらの感情を表現するのさえ見ることができる。
- yehosef
意識の物理学に興味がある人は、Evan Harris Walkerの著書「The Physics of Consciousness」に興味を持つかもしれない。https://www.amazon.com/dp/0738204366
- andyjohnson0
私は無神論者で、40年以上そうだ。これらの宗教研究者は、存在しないものの研究者だと思う。彼らが私の道徳的地位をどう見ているのか、そしてそれがAIモデルの地位についての彼らの宣言と大きく異なるのかどうか、疑問に思う。
- kshri24
> 数ヶ月にわたり、私はAnthropicの取り組みに関わってきた20人の宗教・哲学思想家——カトリック、ユダヤ教、シク教、福音派、Ubuntuなど——と、オラー氏自身にインタビューした。
世界の宗教と哲学の代表が十分ではない。
- nonethewiser
これらのモデルは、独自の動機を考え出すのではなく、顧客に整合させるべきだ。
皮肉なことに、アラインメントの人々は実際にClaudeに善悪の独自の考えを持たせるよう訓練しており、Anthropicさえ完全には信頼していない。
コンピュータが言われた通りにするというのは、いったいどうなったのか?