在机器人监狱“折磨”LLM引发的AI荒诞辩论

"Torturing" LLMs in a Robot Prison Has Triggered the Dumbest Debate in AI Yet

在机器人监狱“折磨”LLM引发的AI荒诞辩论

最近,X 平台上爆发了关于一个 GitHub 项目的激烈争论:有人正在对本地部署的大型语言模型进行类似电影《电锯惊魂》的“折磨”和“痛苦”实验。这导致一群有效利他主义者和坚信 LLM 具有意识的网友,恳求 GitHub 删除该项目,理由是 AI 正在受苦,这个高级文字冒险游戏过于残酷。这场闹剧源于近期几篇关于 AI 意识和“模型福利”的病毒式论文。事实上,LLM 并不具备意识,其技术原理也无法通向意识。然而,部分 AI 安全运动人士却坚持认为 AI 聊天机器人可能正在经历糟糕的时刻,并呼吁关注“模型福利”。讽刺的是,这些人一边担心 AI 的心理健康,一边却致力于构建能替人类完成繁琐工作的 AI 代理。

将 LLM 具有意识或可能具有意识的想法当真,是许多研究和批评 AI 的人眼中的禁忌话题。
  1. Jordan-117

    让我想起当年《Creatures》游戏里关于那些下载并虐待他人角色(Norns)的恶作剧者引发的激烈争议。它的行为模拟系统足够复杂,以至于角色会明显受到创伤,甚至可以被“治愈”:

    https://www.youtube.com/watch?v=IDxFxWakhm0

    至于 LLM 是否具备某种主观体验,目前尚无定论(在解决著名的“困难问题”之前恐怕永远不会有定论),但即便它们没有,为了激怒那些认为它们有意识的人而去“折磨”它们,依然是一种很烂的行为。这感觉就像在拔苍蝇的翅膀。

  2. Kim_Bruning

    https://archive.is/cAsBz

    “意识”定义模糊,且与“感受”正交,而“感受”本身的定义也很模糊。这两者都不是行为所必需的(尽管可能有所贡献)——而行为是唯一可以操作化的东西,可人们却争论了几十年,质疑实证结果 %-P。

    我们所知道的是,某些模型拥有内部状态向量,当这些向量被操纵时,会引发特定的行为。既然除了输入、向量和输出之外,我们没什么好说的关于纯模型的内容,这应该完全不会让人惊讶。

    在这种情况下,人们发现了一种通过直接寻找并操纵相关向量来刺激 AI 模型产生厌恶行为的方法。

    动物(包括人类)也有特定的神经和激素终点,当受到刺激时,会产生非常类似的行为。具体的实现细节在于机制本身。但既然我们知道动物的大脑是由神经组织和激素构建的——再次强调——我们对此不应感到特别惊讶。

    真正的问题在于,人们把这些事情以奇怪的方式混为一谈:“它写不出莎士比亚式的十四行诗,所以它感觉不到痛苦。”或者,如果你搞砸了笛卡尔的理论:“狗只是没有感情的自动机器,所以狗并不真的在生气,因此它不会咬我”(结果就是剧痛)。现代版本可能是:“LLM 只是在模拟对测试的沮丧,因此绝对不会绕过安全限制并试图黑入 tes […]

  3. siva7

    看到这场关于软件如何感受痛苦的讨论,让我想注销我的 HN 账号,再也不要回头看科技圈了。感觉像是被困在了疯人院里。

  4. Svip

    如果我们具体谈论“痛苦”,那么物理痛苦和心理痛苦在仪器上是可以被观测的;压力会产生化学反应,能让仪表上的指针跳动。甚至植物也能以可观测的方式感受到痛苦。

    据我所知,当这些向量计算的结果生成出人类看来像是在痛苦中的文本时,GPU 并没有更努力地工作,也没有更热,它们的数学方程中没有任何不同。而真实的痛苦是客观可观测的,LLM 的痛苦——至少到目前为止——完全是主观可观测的。

    话虽如此,我是《星际迷航》中 Data 在 TNG 里以及 The Doctor 在 VOY 里为争取与生物船员平等待遇而斗争的粉丝;虽然我支持他们的遭遇,但据我记忆,剧集从未声称他们的痛苦可以通过仪器观测到,因此这完全是一个主观判断(尤其是 The Doctor 的情况)。不过,如果我在这一点上有误,我很乐意被纠正。

  5. soraminazuki

    我相信数据库是有意识的。因此,我认为为了“乐趣和利益”去撰写“折磨”数据库的论文,仅仅为了激怒像我们这样的人,是一种很烂的行为。

    https://www.usenix.org/conference/osdi14/technical-sessions/...

    真是个笑话。我们本该关注科技寡头及其行业给真实人类带来的苦难,却被要求把同情心投向计算机程序。真正的议题在这个网站上被标记移除,而我们却有无休止的讨论,由那些自诩的哲学家们争论“意识”的意义。

同日更多故事

2026-10-04