Dust:无需反向传播预训练 Transformer

Dust: Pretraining Transformers Without Backpropagation

Dust:无需反向传播预训练 Transformer

深度学习长期依赖反向传播进行训练,但 Dust 提出了一种全新的零阶优化方法,无需反向传播即可预训练 Transformer 语言模型。该方法通过在每个 token 上独立扰动激活值,构建虚拟种群,单次前向传播即可并行评估数千个样本。实验表明,Dust 在大种群设置下甚至能超越反向传播的效果,且比传统的权重空间进化策略高效数千倍。这项研究挑战了零阶方法无法扩展至大模型的固有认知,为未来基于搜索的信用分配算法奠定了基础。

随着全球可用算力的增长,我们或许更倾向于基于搜索的通用暴力学习算法,而非依赖可微性、反向传播等归纳偏置。
  1. blt

    每隔几年,就会有一种无需导数的神经网络优化算法引发一阵热潮。我敢用我的全部积蓄打赌,它们中没有一个能产生实际影响。

    无需导数的优化对于真正不连续的目标函数 [1] 确实有用,但常见的神经网络目标函数是平滑的和/或满足 Lipschitz 条件的。

    梯度是有用的。与其尝试随机方向并希望其中一个是改进方向,不如直接告诉你该往哪走。参数越多,它就越有用。

    几十年来,人们一直怀疑基于梯度的优化和无需导数的 Lipschitz 凸优化之间存在严格的复杂度差距,最近这一猜想已被证明(使用 AI,[2])。神经网络优化是非凸的,但并非截然不同。

    在我看来,更有前景的方向是专门针对神经网络结构的基于梯度的优化器,比如 Muon [3]。

    [1] https://arxiv.org/abs/2202.00817

    [2] https://arxiv.org/abs/2607.13335

    [3] https://jeremybernste.in/writing/deriving-muon

  2. usernametaken29

    > 有许多有趣的开放性问题。第一个问题是 Dust 是否能够、以及如何找到比反向传播的一阶梯度更好的方向。

    两种算法都受限于基于经验风险最小化原理的同一帕累托前沿,因此它们已经在同一条轨迹上了。

    有趣的是,反向传播受限于 Hessian 矩阵的条件数才能收敛(正确求导)。因此,消除这一限制实际上是一个巨大的进步。

    我很期待进化方法的回归,因为它们通用得多,尽管成本高昂且显得有些天真。

    我们现在非常接近于可以描述为“暴力破解”数据集帕累托前沿的状态。我不确定这是否是我们想要的,但我也没有更好的主意。

  3. polyomino

    尽管这比反向传播昂贵得多,但能否采用一种混合方法,即对已经过反向传播训练的现有检查点(checkpoint)进行微调,从而释放进一步的收益?

    将其应用于不同阶段,看看这是否会影响学习轨迹,应该会很有趣。

  4. wg0

    它计算成本高昂且不可行,但好处是什么?

    由于对这个主题不熟悉,这是一个真正的问题。

  5. oofbey

    这简直无聊透顶。与其用反向传播求取精确梯度,不如用扰动后的权重运行一千次前向传播,得到梯度的蒙特卡洛估计。一点也不聪明。极其没用。

    不过我想,业界充斥着各种计算同一事物但速度慢得多的技术,而有些人却觉得它们很有趣。同态加密、零知识证明、区块链计算。只不过在后几种情况下,偶尔使用它们或许还有正当理由。

同日更多故事

2026-10-05