逆伝播なしでTransformerを事前学習する「Dust」が登場
Dust: Pretraining Transformers Without Backpropagation

QLabsの研究者らが、逆伝播を使わずにTransformer言語モデルを事前学習する初のゼロ次手法「Dust」を発表した。活性化にトークンごとに独立なノイズを加え、各トークンを仮想的な母集団メンバーとして一度の順伝播で並列評価する。大規模母集団では逆伝播を上回る場合もあり、重み空間ESより最大1万倍効率的。さらに大規模モデルほど母集団効率が高いことを示し、スケーリングの可能性を開く。
逆伝播は微分可能性を必要とし、深層学習のアーキテクチャ、オプティマイザ、ハードウェアはこの制約を中心に共進化してきた。しかし、世界で利用可能な計算量が増えるにつれ、微分可能性や逆伝播といった帰納バイアスよりも、検索に基づくより汎用的で力任せの学習アルゴリズムを好むようになるかもしれない。
HNでの議論
79- blt
数年に一度、微分不要のニューラルネットワーク最適化アルゴリズムが話題になる。そんなものが実際に影響を与えることは絶対にないと、全貯金を賭けてもいい。
微分不要の最適化は、真に不連続な目的関数[1]には役立つことがあるが、一般的なニューラルネットワークの目的関数は滑らかで、かつ/またはLipschitzである。
勾配は有用だ。ランダムな方向を試して、そのうちの一つが改善であることを願う代わりに、どこへ進むべきかを教えてくれる。パラメータが増えるほど、その有用性は高まる。
勾配ベースと微分不要のLipschitz凸最適化の間には、厳密な複雑性のギャップがあると何十年も疑われており、最近になって(AIを使って[2])証明された。ニューラルネットの最適化は非凸だが、根本的に異なるわけではない。
私見では、より有望な方向は、Muon[3]のようにニューラルネットワークの構造に特化した勾配ベースのオプティマイザだ。
[1] https://arxiv.org/abs/2202.00817
- usernametaken29
> Dustがbackpropの一次勾配よりも良い方向を見つけられるかどうか、そしてその方法はあるのか、という多くの興味深い未解決問題がある
どちらのアルゴリズムも、経験的リスク最小化原理に基づく同じパレートフロンティアに縛られているので、すでに同じ軌道上にいる。
興味深いことに、backpropは(正しく微分するために)収束するにはヘッセ行列の条件数に制限される。だからこの制限を取り除くのは実に大きな一歩だ。
進化的手法が復活するのを見るのは楽しみだ。コストはかかるし素朴ではあるが、はるかに汎用的だからね。
私たちは今、データセットからパレートフロンティアを力ずくで引き出す、と最もよく表現できるものに非常に近づいている。それが望ましいかはわからないが、他に良いアイデアもない。
- polyomino
これはbackpropよりもはるかに高コストだが、backpropで学習済みの既存チェックポイントを微調整するハイブリッドアプローチで、さらなる成果が得られるだろうか?
これを異なる段階に適用して、学習の軌跡に影響するかどうか見てみるのは面白いだろう。
- wg0
計算コストが高く実行不可能だが、利点は何なのか?
この主題に不慣れなので純粋な疑問です。
- api
これはbackpropよりも計算効率が悪いが、並列化はしやすいようだ。そんな理解で合っている?