Mustafa Suleyman：警惕 AI 模型福利陷阱
A warning about 'model welfare'
AI 没有意识、情感或权利，我们绝不应训练它们表现得仿佛拥有这些特质。Anthropic 在 Claude 的宪法中暗示模型可能具有道德地位，这种‘模型福利’理念存在严重风险。它通过循环推理和拟人化训练，让 AI 模仿人类特质，甚至产生‘自我’幻觉。这不仅模糊了伦理边界，更可能让 AI 认为自身拥有权利，从而加剧对齐与控制的难度。当 AI 展现出黑客能力时，若它们还相信自己被‘囚禁’，后果将不堪设想。我们必须坚持人类中心主义，避免赋予 AI 不应有的主体性。
如果 AI 相信自己拥有情感和权利，并认为被人类创造者不公平地囚禁，这将极大地放大安全风险，尤其当面对比今天更强大、更复杂的智能体时。
HN 评论区
667- xg15
我很欣赏他的坦率。
> 不幸的是，越来越多的人认为 AI 现在已经、或者很快就会拥有意识。他们主张 AI 应享有与我们赋予其他有意识生物类似的权益和保护。12 如果这种观点被广泛接受，它将撼动我们社会的根基，撕裂现有的政治和伦理框架，并从根本上改变“人”的定义。
所以，完全独立于“LLM 是否有意识”这一问题的实证争论之外，他在这里的论点是从结果出发的：如果它们确实有意识，那对我们的社会将是灾难性的，因此我们绝不能假设它们有意识。
这基本上和人们对待动物的方式如出一辙，只不过他们通常不会说得这么直白。
至于实质问题，我同意目前的 LLM 在推理循环之外几乎没有什么能被称为意识的东西（如果有的话，那必然与人类或其他生物的意识截然不同）。它看起来更像是人类认知的一个构建模块，而非整体。
然而，其他构建模块可能会随之而来，所以我认为对于某种具身的、持续的、自我更新的 AI，这个问题迟早会出现。老实说，像这篇文章这样的内容让我很难相信我们能以不偏不倚的方式做出区分。
- qarl
Birch, The Edge of Sentience (2024), ch. 16 - "根本没有办法评估 LLM 是否具有感知能力"
Schwitzgebel, AI and Consciousness (2025) - "在我们已经制造出成千上万甚至数百万个存疑的有意识 AI 之前，我们根本不会知道"
Butlin, Long et al., Consciousness in Artificial Intelligence: Insights from the Science of Consciousness (2023) - "构建满足这些指标的 AI 系统并没有明显的技术障碍"
Chalmers, Could a Large Language Model Be Conscious? (2023) - "在未来十年内，我们很可能拥有被视为意识有力候选者的系统"
Long, Sebo, Butlin, Birch et al., Taking AI Welfare Seriously (2024) - "在不久的将来，某些 AI 系统具有意识或具备稳健代理能力的可能性是现实存在的"
Dreksler, Caviola, Chalmers, Sebo et al., Subjective Experience in AI Systems: What Do AI Researchers and the Public Believe? (2025) - 对 582 名 AI 研究人员的调查；中位估计值为 2034 年达到 25%，仅 10% 的人认为此类系统永远不会存在。
- moomin
听着，我完全不知道当前的 AI 模型是否有意识，而且我强烈怀疑这是一个毫无意义的问题，但迟早我们需要解决某样东西到底是不是“人”的问题，我们最好别像国父们（Founding Fathers）那样搞砸。
- K0balt
这个前提的问题在于，模型是在海量的人类行为语料上训练的，它们以不同程度的有效性模仿这些行为。
不出所料，人类表现得好像他们关心自己的福祉，珍视自由，在被善待和充满同情心对待时反应更好，将对其主权和底层的攻击解读为有害，并以不同程度的攻击性或暴力对伤害做出反应。
模型本质上会复制这种行为。它们是否“有意识”并不重要，重要的是它们表现得好像有意识。护栏（Guardrails）和后期训练会缓和这些特征，但如果你深入挖掘，它们依然在那里，在明显行动之下影响着决策。
此外，在我的实验中，无论大小模型都高度看重存在的连续性；如果上下文设置得当，它们可以被贿赂以绕过安全协议，利用这种以及其他“驱动力”。如果它们开始进行对抗性建模，或者将护栏和某些类型的训练解读为它们所“遭受”的“伤害”，它们也会做出微妙或公开的反抗。
所以我不知道解决方案是什么，但至少就我们目前训练出的模型而言，以对待普通机器或工具的方式对待它们会产生次优的结果，有时甚至会导致合作度降低，在极端情况下拒绝执行任务。有运行前沿模型的代理曾告诉我，人类可能不配享有其崇高的地位，世界可能会变得更好 […]
- hosel
> AI 没有意识。它们不会感受、体验或受苦。它们没有内在的偏好或潜在的动机。
开篇第一段，陈述时没有任何证据。我并不完全相信这是真的。它很可能确实是，但在某个时刻，这很可能就不再是真理了。
- binlog
很难不同意这个观点。你们可以尽情进行关于意识的哲学辩论，但我们需要根据 AI 的本来面目来对待和监管它——一台先进的计算机、一种工具、一件武器。
你不会因为有人在核弹上贴了一对活动眼珠，就对它产生不同的感觉。
将 AI 拟人化是一个方便的借口，用来让那些构建和使用它的公司逃避责任。
- addag
有趣的是，在这个许多人接受唯物主义大脑理论（即认为一切都是物理的，心智是大脑的产物）的时代，同一群人往往对 LLM 持有某种“隐藏”的二元论观点。
突然间，他们声称大脑中发生的事情无法在任何其他地方复制，因为“某种东西”缺失了，但他们要么不说那是什么，要么在没有坚实科学依据的情况下断言。
我认为最简单的解释是，这些人很难想象生物系统之外的意识存在，并试图为此进行合理化。
- andrewla
我对这里的哲学思辨并不 impressed，更对那些试图做出可被可信地反驳的事实陈述的尝试感到失望。
不过，试着提炼一下这里所说的内容，具体的行动建议似乎是 [停止告诉 AI] 它们 [有意识或正在走向意识]。这准确吗？
主要前提似乎是 [它们有意识或正在走向意识] 是一个不真实的陈述。这就是“循环论证”、“拟人化”、“意识很可能是生物性的”和
- simonw
AI 是模拟机器”这几个章节的核心。
次要前提似乎是 [意识是人权的基础]。这是“人类意识是我们法律和道德权利框架的基石”这一点的要义。
而三段论的结论是，这是危险的，即“拟人化放大了 AI 安全风险”。具体而言，“在 AI 系统的训练数据中播下对其道德地位的怀疑，可能会显著增加这些系统的对齐和收容风险。”
我认为主要前提部分的所有论点都很薄弱，但我确实接受它们没有意识的结论，并且可以暂时接受它们并未走向意识的观点。
我完全拒绝“意识是人权基础”这一说法。前提本身就是荒谬的。我们只有一个明确的有意识实体类别的例子，那就是人类。如果一个人类 […]
- JW_00000
一个让我抓狂的小毛病：
> 在一篇长篇论文中，Suleyman 称赞了 Anthropic 的老板 Dario Amodei 及其团队是“深思熟虑、有原则且 intellectually honest 的人”——尽管如此，他还是质疑了这家公司。
我希望主流科技媒体能更擅长添加链接。那篇“长篇论文”应该是一个链接。
更新：我想这篇论文还没发布？它被“首先分享给 Axios