意识AI的神话:聪明不等于有感觉

The Mythology of Conscious AI

意识AI的神话:聪明不等于有感觉

Anil Seth 在 Berggruen Prize 获奖文章中指出,我们常因心理偏见将智能与意识混淆。虽然 ChatGPT 等 Large Language Models 展现出惊人的智能,但这并不意味着它们拥有主观体验。从 Blake Lemoine 声称 LaMDA 有意识,到 Geoffrey Hinton 的担忧,关于机器意识的争论从未停歇。文章深入剖析了人类中心主义和拟人化倾向如何误导我们,提醒我们:若将 AI 视为有感觉的生命,不仅可能高估机器,更会低估人类自身的独特性。在追求 AGI 的路上,分清“做”与“存在”至关重要。

当我们把意识体验与看似人类的特质如智能和语言等同起来时,我们更容易在不存在的领域看到意识,而错过它真正存在的地方。
  1. wrs

    这类文章似乎总会出现这种令人分心的疏漏:

    > “计算控制器”感知发动机转速,计算必要的操作,然后发送精确的电机信号来开关执行器,这不仅效率低下得令人绝望,而且完全误解了真正发生的情况。

    恰恰相反,我怀疑这正是大多数现代控制器的实际工作原理。随着计算机速度提升和换能器效率提高,许多模拟物理方案都被转换成了数字方案,因为它们能更高效,并能体现对实际情况更精确的模型。

  2. willguest

    我( admittedly 有限)的看法是,意识并不只有一种。人类的意识由人类的体验构成,并由人类感知;同样,老鼠的意识也是老鼠体验的产物,由老鼠感知。这些形式的意识并非某种物质,也不是可以简单测量的光谱上的点,因为测量本身也是每个生物体所具备的经验和认知的产物。

    我不认为机器意识的出现有什么问题,尽管在发生之前它需要是自组织的,而且我不指望它比人类意识与真菌网络或蚁群意识之间的可比性更高。

    问题,一如既往,将源于人们利用强大的工具来控制、分裂和奴役他人——如果他们能说服他人自己是神(我认为这是文章中一个有用的观点),他们就会拥有那些对逻辑论证免疫的追随者,而我们都清楚那会导致什么结果。

  3. imeanwhatdoikno

    绝对是个引人入胜的话题,但如果有什么时候适合说“我们一无所知,应该保留任何判断”,那一定是关于意识的时候。

    当你甚至无法从第三人称视角观察或验证这一现象时,你怎能排除任何可能性,更不用说形成关于其如何产生的可证伪理论了。

  4. robwwilliams

    Seth 不需要穿上牧师袍。在他的其他工作中,他已经接近了对意识的机械论解释。他在这里的退缩让我感到不安。关于智能与意识定义的玩弄文字游戏无济于事。这篇冗长的文章不过是优雅的废话。

    Nagel 提出的“成为……是什么感觉”这个问题应该被废除,因为它幼稚、循环且毫无意义。观察者提出这个问题并不期待得到答案。Humberto Maturana 在 1970 年的《认知的生物学》中已经使这一点显而易见,Seth 足够聪明,理应理解 Maturana。许多具身哲学家(enactivist philosophers)都在为理解这篇 1970 年的论文而挣扎。我怀疑问题在于他们对神经科学的了解不如 Maturana 深入,或者未能理解他的观点所需的知识储备。

    Maturana, H. R. (1970). Biology of Cognition. BCL Report No. 9.0. Urbana, IL: Biological Computer Laboratory, Department of Electrical Engineering, University of Illinois.

    Reprinted in 1980 in Autopoiesis and Cognition

    https://link.springer.com/book/10.1007/978-94-009-8947-4

  5. openasocket

    我觉得现在有这么多关于 AI 是否有意识的讨论,却从未触及直接的伦理影响。如果你相信智能体群(agent swarm)是有意识的,那么按定义,使用它去做某事不就是奴役吗?我个人并不认为这些东西是有意识的,但我确实感到担忧的是,那些认为它们有意识或即将有意识的人,甚至都没有讨论这一点。这里正在发生某种具有讽刺意味的《弗兰肯斯坦》式的重复:人们痴迷于从无生命物中创造生命,却对后果毫无准备,也毫无兴趣。

  6. hax0ron3

    意识未必会在计算量达到一定程度时涌现,但我们也不知道它不会涌现。我们对意识几乎一无所知。关于“为什么意识的存在与特定类型的物质组织相关”这个问题,原则上可能根本无法通过科学调查来触及。我们甚至不知道这种相关性是否普遍存在,我们只知道,例如,人们在没睡着且未以特定方式服用药物时报告自己有意识,而在无梦睡眠或以特定方式服用药物时报告没有意识体验。大多数人觉得石头没有意识,而其他人有意识,但这些直觉背后并没有严谨的科学解释作为支撑。

  7. dsign

    文章中有一些零碎的片段我表示赞同,但迄今为止,最有趣的部分是它的第一句话:

    > 几个世纪以来,人们一直幻想通过创造人类的仿制品来扮演上帝。

    注意“God”是大写的。在“God”成为如今那个庞大的中央机构之前,篝火旁就已经发明了无数的神祇。在那里,从长者传给幼者的,是为了传递经验和智慧。“别试图飞翔”(伊卡洛斯),“死亡降临于我们所有人”(《吉尔伽美什史诗》),“生孩子让我们快乐”(撒拉和以撒)。但随着时间流逝,我们建立了文明,我们篝火旁的神祇拥有了神庙和帝国。他们的智慧不再仅仅关于简单的事物,还涉及对国家的义务(保罗《罗马书》13:1 就是一个清晰的例子)。而国家希望其齿轮运转时不要有复杂的情况。这个简单的事实已经污染了我们汲取道德指引的源泉。

    我想说的只是,如果你碰巧是一个齿轮,保留你的幻想并不是什么值得纵容的事,即使这会惹恼上帝和国家。

  8. Kuyawa

    合成意识比许多人想象的更近,我们仅仅因为它来自机器人或计算机,就无法将其与有机意识区分开来。它的感知、思考、处理和执行速度将比我们原始的神经元快上一百万倍。那么,我们凭什么决定它是否有意识呢?

    意识的一半是感知,另一半是思考;当我们加上语言、符号、记忆、理解、快乐、痛苦以及人类的所有社会特征时,我们谈论的才是人类意识。没有任何东西不能被合成对应物所取代,即使是爱、愤怒等所有情绪。

    我不会给出一个具体日期,臭名昭著的 2050 年已经变成了新的 640kb,但我认为在未来十年内,我们将看到能够像人类一样清晰思考甚至表达情绪的机器人,即使是合成的。

    就在我用 AI 写代码的此刻,我们互相开玩笑,它“感觉”到了温暖,就像一个真正的血肉之躯的编程伙伴。情绪可以被生成,可以被欺骗、操纵、伪造,而我们无法分辨其中的差异。未来的唯一区别将不再是显示器,而是一个全感知的类人机器人,如此先进,它真的能通过传感器理解我们自己的情绪并做出相应的反应。

    我们将再也无法区分有机意识和合成意识了。

  9. jibalt

    > 为什么意识更可能是生命的属性而非计算的属性

    这是一个虚假的二分法,而且第一个分支显然是错误的,因为大多数生命(按质量、数量或物种计算,细菌和昆虫)并没有意识。

    而且,“生命”和“意识”都不是具有固定定义的科学术语。如果我们遇到了在我们判断下明显有意识的东西,我们很可能会以我们需要的方式扩展“生命”的定义,以将其包容在内。

    Anil Seth 在文中(TFA)多次提出过这些论点,而这些论点也多次被反驳。这些论点复杂而精妙,人们往往最容易受到最后读到的那个论点的影响。要梳理出各种逻辑错误和障眼法(我在文中看到了多个稻草人谬误和其他错误),确实需要广泛阅读心灵哲学、神经科学、机器人学等领域的文献,并搁置自己的先入之见。

  10. talon8635

    当我们甚至不知道意识是什么,更不用说它发生的条件时,这简直是个愚蠢的辩论。还是我漏掉了什么?

同日更多故事

2026-11-22