梯度下降训练神经网络的普适性定理

Universality of Gradient Descent Neural Network Training

神经网络的设计选择往往决定了优化成败，但这是否意味着某些网络注定无法通过梯度下降训练？这项研究给出了肯定的答案：只要存在某种算法能为特定分类任务找到优秀的网络权重，那么理论上总能通过扩展该网络结构，使其仅凭梯度下降就能复现这些权重及输出。虽然这种构造方法并不适用于实际计算，但它为理解 meta-learning 及相关方法的潜力提供了重要的理论视角，揭示了梯度下降在理论上的强大普适性。