AI 是位严厉的女主人：机器意识与群体盲从
AI Is a Harsh Mistress
文章深入探讨了 Anima Machina 概念下，人类对 AI 的群体性接受现象及其背后的政治博弈。作者指出，我们正盲目地将意识赋予机器，却忽视了这种技术崇拜可能带来的失控风险。在追求技术奇点的过程中，社会往往陷入一种集体无意识的狂热，忽略了 AI 作为工具与作为潜在主体的本质区别。这不仅是一场技术革命，更是一次关于人类自主权与机器政治的深刻反思，警示我们在拥抱 AI 时需保持清醒的批判性思维。
当我们盲目地接受机器拥有意识时，我们实际上是在将人类的未来拱手让给一位严厉且不可预测的女主人。
HN 评论区
52- matherial
这篇文章看起来是 100% 由 AI 生成的，既不是 ACM 的第一篇，也不会是最后一篇。至于你是否想花一天时间阅读并与这篇文章争辩，那就看你自己的选择了；作者本人大概没打算这么做。
- sebmellen
我最近一直在读《严厉的月亮》，对其中的预见性感到震惊。我有点惊讶，在当下关于 AI 的讨论中，居然没看到更多关于这本书的提及。
- GPerson
“当今关于 AI 意识的许多讨论并非基于实证证据，而是基于功能主义……”
在我看来，意识永远不可能有实证测试，因为功能主义本身就是错的。如果功能主义是对的，那么这种测试就会存在。对于一个本质上属于第一人称的现象，根本不存在第三方的测试方法。
- entropyneur
“我们可能错误地将意识归因于 AI，从而陷入危险”这个想法听起来太荒谬了。只要人类对其他生物拥有权力，我们就会根据自己的便利，随意假设这些生物是否具有主观体验。在这种情况下，后者（即我们拥有权力）可能不再成立，但那时我们怎么想也就完全无所谓了。
- xg15
“在查尔默斯（Chalmers）的用法中，意识即主观体验：作为一个有意识的系统，会有某种‘像’的感觉。然而，Transformer 架构或下一个词预测中没有任何迹象表明这种内在视角存在。自我报告（‘我有感知’）和流利的对话是薄弱的证据，因为这些模型是在充斥着人类第一人称陈述的海量语料库上训练的。这种类型的口头报告对人类有效，是因为它植根于共同的生物学和行为基础；但对于机器而言，它只是训练数据的回声。”
我在这里并不想争论 LLM 是否具有意识，但这种论调让我很恼火，因为它本身就像是一种智力上的障眼法。
目前还没有确定的方法能证明除了自己以外的任何事物拥有感质（qualia）或主观体验。
因此，以“我们无法观察到 LLM 拥有主观体验”为由，断言它们不可能拥有任何主观体验，这种说法太廉价了——你同样无法观察到动物或你身边的人拥有主观体验。
文章中提到自我报告无用，以及 LLM 听起来像人是因为它们从人类训练数据中输出序列，这部分是正确的。但文章暗示机器与有意识的生物之间存在某种根本性的、永远无法跨越的鸿沟。而我看不出有任何理由这样假设。