神经网络内部竟藏着符号结构？
The Emergent Symbolic Structure of Artificial Neural Networks
现代 AI 系统看似基于连续向量，却在逻辑、代码等需要符号处理的领域表现卓越，这背后究竟有何玄机？最新研究提出，神经网络内部可能隐含着符号结构。研究人员发现，无论是小型网络还是大型语言模型（LLM），其向量表示都能被符号结构精准近似。更令人惊讶的是，通过直接干预这些识别出的符号结构，可以精准修改 LLM 的行为。这一发现为调和传统符号智能观与现代向量 AI 提供了全新视角，揭示了神经网络运作的深层逻辑。
尽管表面上看并非如此，但神经网络的内部表征或许隐式地实现了符号结构。
HN 评论区
108- sigpwned
我从中得出的核心问题有：
(1) 他们声称能够生成 LLM 等模型的、看似双射的闭式符号表示/近似。评估这些闭式表示在计算上是否更高效？如果属实，其影响可能巨大。这本质上就是解析蒸馏（analytic distillation）。将“寓言”（Fable）从数据中心搬上芯片，在很多方面都将至关重要且具有颠覆性。
(2) 由于组合爆炸等原因，无监督甚至是有监督的符号化问题求解方法往往会失效。这可能让我们将 LLM 的训练和推理视为一种搜索算法，用于寻找解决以往其他方法无法触及的新型复杂问题的符号化方案。如果行得通，我怀疑这也会形成一个反馈循环——一种表示的进展会推动另一种表示的进步。这也提升了大规模训练的经济价值，因为模型本身变得有价值，而不仅仅是其推理能力。
(3) 基于上述，这能否推动 LLM 设计迈向更高能力？
这一点与 Anthropic 的 J-space 观察之间的关系也很有趣。不过，本文的内容要深入得多，且更具直接可操作性。
编辑：我把这些问题扔给了 Sonnet——是的，我深知其中的讽刺意味——它对问题 (1) 和 (2) 并不乐观，但认为 (3) 是合理的。无论如何，这是一篇相当不错的论文。反思之后，我确实认为……
- jsrozner
某些监督*可解释性方法的一个大问题是它们可能会发现虚假结构。（让模型按你意愿行事的方法有很多；Hewitt 和 Liang 2019 的研究大致展示了这一点）。这篇论文在第 20 页将本方法与之前的 DAS（分布式对齐搜索）方法进行了对比。这些及相关方法建立在因果抽象理论之上，理论上很棒，但实践中更难。例如，DAS 近年来就遭到了诸多批评（Makelov 2024, Meloux 2025, Sutter 2025, Grant 2026, Kumon 2026）。我最喜欢的是 Meloux 等人那篇相当易懂的文章；Sutter 2025 的文章也很好，但它依赖于一种实数论证，允许对每个输入进行无损编码。
我即将在 EMNLP 发表的论文提供了一种替代方案，它将“表示”的概念建立在非常简单的“对抗性扰动对模型学习/行为产生的影响”之上。例如，如果我告诉模型在“我看到一只鸭子在嘎嘎叫”的语境下应将 'duck' 替换为 'glam'，那么它在“我需要溜出会议”与“在公园里，一只鸭子保护着她的幼崽”这两个句子中，分别有多大的意愿将 'duck' 替换为 'glam'？事实证明这种方法效果相当不错，而且由于我们只使用单个示例，因此无需监督。
链接中的论文争辩说，他们的方法 DISCOVER 与 DAS 不同，因为它不是监督式的，因为它不直接优化因果效应。我只粗略浏览了一下，但……
- jkingsman
这里的数学和核心实验超出了我的能力范围，但我理解的是：LLM 中可能存在更深层次的表示模式，这些模式是语法中核心概念关系的蒸馏，我们可以从数学角度去理解它们，而不是那些看似被层间涂抹的噪声，这些噪声以某种不可解释（在有意义的前提下）的方式解析为正确的语法/推理。
这很酷。希望我理解得差不多对。
- adsharma
这个结果让我感到鼓舞。这正是 latentpedia.org 背后的主要假设。
我们不再将模型的几何结构蒸馏成一个巨大的知识图谱，而是从目前已知的最大开源图谱出发，逐步构建出类似这种几何结构的东西。
欢迎加入我们。在 github.com/latentpedia 上讨论。我们已具备基础技术。现在需要更多的算力、存储空间，以及足够的业务量来覆盖服务成本。
- gps372
在阅读这篇文章时，我不禁在想，这为什么比能从字节码恢复 Java 程序更有意思？所以我问了 Copilot 同样的问题。它告诉我——“老实说，这正是工程师和研究者之间的区别所在！”
- profsummergig
人类的大脑无法理解高维空间的容量。
仅仅从 2D 到 3D 就创造了巨大的新位置潜力（例如地球表面与地球上方的大气层……）。
现在想象一下 1,000 维。
- 4b11b4
听起来合理……模型有时确实在学习某种具有符号性质的有损向量表示……当然，神经网络可以逼近函数？
他们说这在……他们发现的一些例子中成立？
我对这个领域了解不够。
- trnkinju
自从 AlexNet 复兴统计学习以来，符号主义（Symbolism）就多次试图反击。尽管从语言学角度来看，我们应对 Smolensky 和 Linzen 等名字给予应有的尊重，但关于本文所提出方法的适用性、泛化能力和鲁棒性，仍应提出质疑。从论文的 3.5 节来看，至少目前我们还不能对此过于乐观。我明白该方法仍处于起步阶段，但我们已经有了 Neel Nanda 等人推动的机制解释（Mech Interp）等研究方向。这并不是说我们被迫在所有可解释性工作之间做出选择，或者这种 TPR 方法本质上就劣于其他方法，但在看待此类进展时，我们可以保持适度的谨慎。