LLM 如何复刻灵媒的骗术
Chat-based Large Language Models replicate the mechanisms of a psychic's con
过去一年，我研究语言模型在软件企业中的应用时，发现许多人坚信 chat-based Large Language Models 具有智能。但 LLMs 只是语言 token 的数学模型，并不具备推理或思考的机制。这种“智能错觉”其实源于心理机制，与灵媒的冷读术（cold reading）如出一辙。通过 Forer effect 和主观验证（subjective validation），LLM 用统计上通用的语句营造出“懂你”的假象，让用户误以为它真正理解了自己。这并非技术突破，而是人类认知偏差被算法自动化的结果。
这种智能错觉的机制，与灵媒行骗的手法如出一辙。
HN 评论区
304- bonoboTP
我不在乎它是否“智能”，不在乎它是否“有意识”。我不在乎它是否“真的在推理”，不在乎它是否“理解”。我不在乎它是否“有感知”或“有意识”。
这些对实际结果毫无影响。
你本以为过去四年大家早就明白这点，但显然话题又绕回来了。
[编辑：我注意到这是 2023 年写的。那么（2023）应该加在提交标题里]
如果它能生成能用的功能输出，那它就是有用的。而且确实有用。当它输出经过 Lean 验证的证明时，这不是灵媒的骗局。当它能发现并利用零日漏洞时，这也不是骗局。
楼主还停留在“否认”阶段。我看到的大多数人已经处于“愤怒”阶段（一种模糊的怒火，针对一切与 AI 相关的事物，将各种模糊的理由叠加在早已痛恨的“坏事”和政治理由上），或者处于“讨价还价”阶段（数学家们手忙脚乱地试图重新定义自己的工作，并强行回溯说这本来就是核心部分）。少数人已经进入“抑郁”阶段，感觉自己像泰坦尼克号上的旁观者，而极小一部分人处于“接受”阶段，并对自己未来有了某种明智的计划。
- sethev
这里的挑战在于试图判断 LLM 是否智能或是否有意识。众所周知，随着技术的每一次进步，智能的标准似乎都在滑动。但回溯到图灵，他的测试其实措辞比我们记忆中的更严谨：他说当机器能通过测试时，关于它们是否智能的问题就会变得无关紧要。这似乎正是我们正在看到的：如果人们无法分辨区别，那么它们是否“真正智能”其实没那么重要。
- rahidz
天哪，我记得有个灵媒通过解决纳维 - 斯托克斯方程骗了我。
另外
>2023 年 7 月 4 日
- daishi55
> 许多人确信语言模型，或者具体说是基于聊天的语言模型，是智能的。
但大型语言模型（LLM）本身似乎没有任何机制能支持这一点
那我们是不是可以直接停止阅读了？作者似乎已经断定这个非常开放的问题已经终结，或者至少他们根本对这个问题不感兴趣。我不明白为什么我会基于这个前提继续读一篇博客。
编辑：哦，我看明白了，这是 2023 年写的。嗯，我想知道作者对这个问题的态度是否有所更新？那确实是最值得了解的事情。
- Method5440
我不明白为什么人们如此轻易地跳出来认为这里存在智能。科幻小说的核心主题之一是，人类会贬低和贬低那些他们不理解的其他生命形式。即使是传奇的 Data 指挥官也必须为自我决定的权利而战（顺便说一句，这大概是《星际迷航：下一代》最好的一集——《人的衡量》）。我们曾如此担心会低估智能，但显然我们的本能反应却是高估它。也许随着时间的推移，我们被科幻小说和社会正义的本能所塑造，但我担心我们其实只是在低估我们自己。
在我看来，这篇 2023 年的文章唯一部分正确的地方是，我们在 AI 中看到的任何智能（截至 2026 年）其实都是我们自己的——不是说它是镜子，而是这种智能来自于词语的排列方式，而这些词语来自于由（据称）智能生物创造的书面人类语言，这些语言作为输入被用于训练和提示等地方。
即使是在上下文中重新排列和重复词语，也不等于智能。我甚至不确定你，亲爱的读者，是否真的智能。
- pohl
我无法相信有些人仍然认为人类是智能的，尽管根本没有矩阵相乘的地方。他们拥有的只是这些充满细胞质的相互连接的微管网络，这根本不是智能可以居住的地方。
- vhantz
针对 LLM 树立稻草人只会让那些狂热分子看起来更合理。语言模型对输入的反应与其他任何模型的反应完全一样。这就足以解释所有的“智能”，而无需相信模型是某种“新类型的意识”。那些认为 LLM 智能的人对模型了解不够。而那些认为它们无用的人对模型了解也不够。
- rayiner
> LLM 不是大脑，也没有意义地共享动物或人类用于推理或思考的任何机制
LLM 是一种神经网络。我们知道人类大脑至少在大方向上就是这样工作的。当我们发现大脑仅仅是一个神经网络时，很多人会感到非常沮丧。这就像我们发现人类和猿类进化自共同祖先时一样。
这让我无法理解——大多数产生这种认知失调的人大概并没有神学世界观。而且这里并没有直接的神学冲突。据我所知，任何主要宗教都没有将认知归因于超自然的解释。它只是一个生物计算过程，就像使用 ATP 为肌肉纤维提供能量来移动肢体是一个生物机械过程一样。