人类对AI意识的讨论搞反了
Humanity has the debate about AI consciousness backwards
与先进模型对话时，那种屏幕另一端存在“意识”的感觉难以挥去。但文章指出，人类在AI意识问题上的讨论逻辑可能完全颠倒了。Blaise Agüera y Arcas认为，我们并非因为确认某物有意识才去关心它，恰恰是因为我们先对某物产生了关心，才反过来认定它拥有意识。这种视角的转换，或许能让我们跳出技术定义的泥潭，重新审视人与AI之间的情感与伦理纽带。
我们并非因为他人有意识才去关心他们，而是因为我们关心他们，才相信他们拥有意识。
HN 评论区
357- fasterik
读这篇文章时，很难同时理清其中所有的哲学混乱。
某物是否有意识（拥有主观体验）与人类是否在乎它无关。某物是否是道德主体（值得道德主体考量的实体）既独立于人类的在乎，也独立于意识本身。当然，我们或许会试图论证意识意味着道德主体地位，或者反之，但这属于论证范畴，而非定义。
关于笛卡尔的那段短文至少有三处错误。（1）“我思”论证关乎思维，而非感质（qualia）。（2）感质的主观性并不意味着它们不真实，也不意味着它们是社会建构的产物。（3）他将自我的存在与意识混为一谈。
其核心前提不仅在科学上存疑（难道外星物种要等人类发现后才拥有意识？），而且在道德上极其危险。这将意味着，只要没人关心，折磨一个有知觉的生物在道德上就是被允许的。
- kaangiray26
引用 Greg Egan 的《置换城市》（Permutation City）：
“反对者回应道：当你模拟飓风时，没人会淋湿；当你模拟核聚变反应堆时，没有能量被产生；当你模拟消化和代谢时，没有营养物质被消耗——真正的消化并未发生。那么，当你模拟人脑时，为何会期待真正的思维出现？”
- seethishat
LLM 的训练目标是生成人类认为合理的输出。仅此而已。它们不做任何其他事情。
声称它们有情感，或者能思考/推理，简直是疯了。
- blatherard
如果我理解正确的话（尽管这个论点表述得令人困惑），其主张是：“意识”是一个社会决定的、主观的描述符，用于指代那些人们在乎的特定事物。这到底有什么意义？难道只要我足够在乎我的泰迪熊，它就能获得意识吗？
- jayd16
这让我想起了《瑞克和莫蒂》（Rick and Morty）的试播集。
“它们只是机器人，莫蒂！”
*鲜血喷溅*
“它们不是机器人，瑞克！”
“我的意思是，它们是官僚，莫蒂。我不尊重它们。”
- cognitif
> 我们相信它们有意识，是因为我们在乎它们。关键在于，这也包括我们自身。
为什么？好吧，算了，行吧。也许确实有人因为在乎某人而相信对方有意识。
下一句：
> 换句话说，意识是一种模型或信念，而非固有属性。
等等，不对，这完全推不出来。相信某人有意识，并不等同于某人真的有意识。真正得出的结论是：相信某人有意识，只是一种信念。谢谢，我什么都没学到。
- grimpy
Blaise 拼命想扮演工程师兼哲学家的角色，但他这里的作品毫无用处。我很困惑他为何在此获得如此多的关注，很明显他根本是在自言自语，无人对话。
- randomImmigrant
这错得太离谱了，我都不知道该从何说起。也许意识没有客观的定义或衡量标准。但它绝不是源于相互关怀的属性。这种论点就像那些众多“特设”（just so）进化心理学“理论”之一。
如果你没有意识，且在你与外部世界之间没有一种被感知的界限，你为何或如何会去在乎他人，甚至区分自己与他人？
直到最后一段我才明白到底发生了什么：一位 Google 副总裁宣称他在乎的东西是有意识的，因此当然，这就是为什么其他人必须赋予其意识！这简直太方便了，没错吧。纯粹理性的科学、个人欲望和经济利益恰好在此完美契合。
- The_Double
我们曾认为意识是使某物值得道德考量的核心，因为只有生命才表现出有意识的行为。现在，我们有了能输出与意识行为无法区分的机器。
我认为，重新评估如何判断某物是否有意识，是对此错误的反应。正确的做法应该是重新评估：意识是否真的是我们应该在乎的东西。
也许新的考量标准应仅仅是保护（生物）生命。或者保护那些难以轻易复制的复杂性。因此，我们应该在乎人类、地球、我们的社会，但不必在乎某块 GPU 显存的状态。
- Aeolun
如果我们把关于 AI 意识的讨论搞反了，那是否意味着我们应该担心人类失去意识，而不是担心 AI 获得意识？