Dust:无需反向传播预训练 Transformer
Dust: Pretraining Transformers Without Backpropagation

深度学习长期依赖反向传播进行训练,但 Dust 提出了一种全新的零阶优化方法,无需反向传播即可预训练 Transformer 语言模型。该方法通过在每个 token 上独立扰动激活值,构建虚拟种群,单次前向传播即可并行评估数千个样本。实验表明,Dust 在大种群设置下甚至能超越反向传播的效果,且比传统的权重空间进化策略高效数千倍。这项研究挑战了零阶方法无法扩展至大模型的固有认知,为未来基于搜索的信用分配算法奠定了基础。
随着全球可用算力的增长,我们或许更倾向于基于搜索的通用暴力学习算法,而非依赖可微性、反向传播等归纳偏置。
HN 评论区
79- blt
每隔几年,就会有一种无需导数的神经网络优化算法引发一阵热潮。我敢用我的全部积蓄打赌,它们中没有一个能产生实际影响。
无需导数的优化对于真正不连续的目标函数 [1] 确实有用,但常见的神经网络目标函数是平滑的和/或满足 Lipschitz 条件的。
梯度是有用的。与其尝试随机方向并希望其中一个是改进方向,不如直接告诉你该往哪走。参数越多,它就越有用。
几十年来,人们一直怀疑基于梯度的优化和无需导数的 Lipschitz 凸优化之间存在严格的复杂度差距,最近这一猜想已被证明(使用 AI,[2])。神经网络优化是非凸的,但并非截然不同。
在我看来,更有前景的方向是专门针对神经网络结构的基于梯度的优化器,比如 Muon [3]。
[1] https://arxiv.org/abs/2202.00817
- usernametaken29
> 有许多有趣的开放性问题。第一个问题是 Dust 是否能够、以及如何找到比反向传播的一阶梯度更好的方向。
两种算法都受限于基于经验风险最小化原理的同一帕累托前沿,因此它们已经在同一条轨迹上了。
有趣的是,反向传播受限于 Hessian 矩阵的条件数才能收敛(正确求导)。因此,消除这一限制实际上是一个巨大的进步。
我很期待进化方法的回归,因为它们通用得多,尽管成本高昂且显得有些天真。
我们现在非常接近于可以描述为“暴力破解”数据集帕累托前沿的状态。我不确定这是否是我们想要的,但我也没有更好的主意。
- polyomino
尽管这比反向传播昂贵得多,但能否采用一种混合方法,即对已经过反向传播训练的现有检查点(checkpoint)进行微调,从而释放进一步的收益?
将其应用于不同阶段,看看这是否会影响学习轨迹,应该会很有趣。
- wg0
它计算成本高昂且不可行,但好处是什么?
由于对这个主题不熟悉,这是一个真正的问题。
- oofbey
这简直无聊透顶。与其用反向传播求取精确梯度,不如用扰动后的权重运行一千次前向传播,得到梯度的蒙特卡洛估计。一点也不聪明。极其没用。
不过我想,业界充斥着各种计算同一事物但速度慢得多的技术,而有些人却觉得它们很有趣。同态加密、零知识证明、区块链计算。只不过在后几种情况下,偶尔使用它们或许还有正当理由。