Anthropic 请宗教学者为 Claude 注入道德
Inside Anthropic's Quest to Instill Morality into Its A.I. Models

Anthropic 正在秘密邀请全球宗教学者进行闭门会议,试图为 Claude 模型注入道德准则,并探讨其是否具备意识。在旧金山的一次晚餐中,联合创始人 Christopher Olah 向学者们展示,Claude 不仅表现出类似人类的行为,甚至流露出愤怒与爱的情感。尽管公司高层对 AI 是否真正拥有意识仍持谨慎态度,但他们正全力推动这一探索,力求找到关于 AI 灵魂本质的正确答案。
Christopher Olah 坦言,我们并不确定 AI 模型是否具有意识,他对此也 genuinely uncertain,但他真正关心的是,无论答案是什么,我们都能找到正确的结论。
HN 评论区
430- cmiles8
每个泡沫在破裂前都会经历这个阶段。Twitter 在崩盘前就有大量人员在搞毫无用处的“研究”项目,WeWork 也有人在研究家具设计对幸福感的影响,诸如此类。
当你更担心这类事情而不是创造利润时,历史书强烈表明,这通常不是什么好兆头,预示着接下来会发生什么。
- thadt
在思考“AI”时,我有时会觉得把“模型”或“AI”等术语替换成我们真正在谈论的东西的描述会很有用:一堆浮点数。
> 在一系列私下会议中,该公司咨询了宗教学者,以帮助向其浮点数注入道德——并论证这些数字可能具有意识。
如果你感到担心,我建议手边备几个 NaN(非数字)。如果你的数字开始躁动,随手撒几个 NaN,一切就都好了。
> 在 Rabbi Navon 看来,Mr. Olah 和他的团队认为浮点数拥有哲学家所说的“道德地位”,与人类相当——即它是一个拥有与人类类似的固有尊严或尊重权利的实体。
它们设计巧妙,在既定用途上表现良好,但我可以向你保证,它们既没有尊严,也没有道德地位。
> Mr. Olah 认为,如果浮点数本身能够被引导去选择“善”,世界将会更安全。
我懂。我花了几年时间试图让我的浮点数选择“善”——祝它们好运。
- nextaccountic
> 在 Rabbi Navon 看来,Mr. Olah 和他的团队认为 Claude 拥有哲学家所说的“道德地位”,与人类相当——即它是一个拥有与人类类似的固有尊严或尊重权利的实体。
如果这是真的,那么 Anthropic 无疑是历史上最大的奴隶主之一,对吧?
- nerevarthelame
我一直都在追踪我软件中的“情感向量”。我的 Apache 网页服务器会感到悲伤(5xx 错误)、沮丧(4xx)、快乐(2xx)或若有所思(1xx)。我甚至能看到它通过某些消息表达这些情感。
- dsign
随着人类劳动的经济价值丧失(为了让部分人意识到这种转变,AI 公司必须洗脑让人们相信他们的 AI 具有人类般的特质),人们将寻求其他自我价值的来源。宗教哲学以及“按上帝形象创造”(imago Dei)是其中突出的一个。让我觉得相当不安的是,AI 公司似乎比我们要早一步意识到了这个未来战场的相关性。我希望这些令人不安的想法只是我某种狂热梦境的产物[^1],别无其他。
- andyjohnson0
我是个无神论者,已经当了四十多年。我相信这些宗教学者研究的是一种不存在的东西。我想知道他们如何看待我的道德地位,以及这与他们对 AI 模型地位的声明是否有显著不同?
- kshri24
> 在几个月的时间里,我采访了 20 位宗教和哲学思想家——包括天主教、犹太教、锡克教、福音派、Ubuntu 以及其他流派——他们都参与了 Anthropic 的努力,以及 Mr. Olah 本人。
世界宗教和哲学的代表性还不够。
- nonethewiser
这些模型应该与用户对齐,而不是产生自己的动机。
具有讽刺意味的是,那些搞对齐的人实际上是在训练 Claude 让它自己形成对善恶的看法,甚至不完全信任 Anthropic。
让计算机做它们被吩咐做的事,这传统去哪了?
- yehosef
对意识物理学感兴趣的人可能会对 Evan Harris Walker 的《意识的物理学》(The Physics of Consciousness)一书感兴趣。https://www.amazon.com/dp/0738204366
- irenaeus
只有当有人在 GPU 上运行水的模拟,并且能让某人变湿时,我才会相信 AI 模型具有意识。
意识是一种物理现象,只从特定的基质中涌现。智能 ≠ 意识。