大模型真的在推理，还是在装傻？
Can We Understand How Large Language Models Reason?
我们以为 Large Language Models 已经具备了人类般的逻辑推理能力，但事实可能并非如此。这篇文章深入探讨了 Large Language Models 的“推理”本质，质疑它们是否真的在思考，还是仅仅在模仿统计规律。作者指出，目前的 Large Language Models 在看似复杂的任务中，可能只是在利用训练数据中的模式进行概率预测，而非真正的因果推理。这一发现对 AI 领域的发展至关重要，提醒我们在追求更强大的 Large Language Models 时，必须重新审视其内部机制，避免被表面的智能假象所迷惑。
我们可能正在与一个极其复杂的统计模型对话，却误以为它在真正思考。
- 有评论者指出，争论 LLM 是否'真正'推理类似于争论潜艇是否'游泳'，这取决于对术语的定义而非能力本身，因此该问题在语义上可能毫无意义。
- 一位观点提出，LLM 的推理过程并非像 SAT solvers 那样仅体现执行逻辑，而是将推理作为可操作的对象直接嵌入在向量空间的语义特征中。
- 有评论者反驳了从权重直接寻找推理痕迹的做法，认为推理更应被理解为模型在训练数据中习得的、带有泛化能力的模式记忆，而非简单的权重映射。
- 针对 Dijkstra 认为'计算机无法推理'的论断，有评论者批评其回避了严肃的哲学辩论，认为他未能提供非循环的定义来界定何为真正的'理解'或'意识'。