神经网络其实很干净：递归泛化真相

Neural Networks Are Already Clean

经过数月对图像和语言模型中神经元及电路的研究，我发现神经网络自身的机制就是其可读的构建模块。过去让学界担忧的 polysemanticity 和 superposition 现象，其实大多被误读了。那些看似任意的概念打包，实际上是一种我称之为 recursive generalization 的模式，这远没那么可怕。这意味着我们可以直接研究网络，而无需先将其拆解。无论是 InceptionV1 还是现代语言模型，随着架构改进和工具优化，绝大多数神经元都展现出清晰的单一功能。所谓的混乱只是学习失败或工具局限造成的假象，神经网络本质上比我们想象的更整洁、更可读。