Dust trainiert Transformer ohne Backpropagation – und übertrifft sie manchmal

Dust: Pretraining Transformers Without Backpropagation

Dust trainiert Transformer ohne Backpropagation – und übertrifft sie manchmal

Dust ist eine Zeroth-Order-Methode, die Aktivatoren jedes Tokens unabhängig stört und so eine virtuelle Population erzeugt: Ein einziger Forward-Pass evaluiert Tausende von Mitgliedern parallel. Damit ist Dust beim Pretraining von Transformer-Sprachmodellen erstmals konkurrenzfähig zu Backprop – in manchen Einstellungen übertrifft es dieses sogar. Gegenüber gewichtsbasierten ES-Verfahren wie EGGROLL ist es um drei bis vier Größenordnungen effizienter. Überraschend: Größere Modelle sind populations-effizienter, nicht weniger.

Die bittere Lektion lautet, dass allgemeine Methoden, die mit Rechenleistung skalieren, irgendwann gewinnen.
  1. blt

    Alle paar Jahre bekommt irgendein ableitungsfreier Optimierungsalgorithmus für neuronale Netze etwas Hype. Ich würde mein gesamtes Erspartes darauf verwetten, dass keiner von ihnen jemals eine Wirkung erzielen wird.

    Ableitungsfreie Optimierung kann für wirklich unstetige Zielfunktionen nützlich sein [1], aber übliche Zielfunktionen neuronaler Netze sind glatt und/oder Lipschitz-stetig.

    Der Gradient ist nützlich. Anstatt zufällige Richtungen auszuprobieren und zu hoffen, dass eine davon eine Verbesserung darstellt, sagt er einem, wohin man gehen soll. Je mehr Parameter man hat, desto nützlicher wird er.

    Eine strikte Komplexitätslücke zwischen gradientenbasierter und ableitungsfreier Lipschitz-konvexer Optimierung wird seit Jahrzehnten vermutet und wurde kürzlich bewiesen (unter Verwendung von KI, [2]). Die Optimierung neuronaler Netze ist nicht konvex, aber nicht radikal anders.

    Meiner Meinung nach ist eine vielversprechendere Richtung gradientenbasierte Optimierer, die auf die Struktur neuronaler Netze spezialisiert sind, wie Muon [3].

    [1] https://arxiv.org/abs/2202.00817

    [2] https://arxiv.org/abs/2607.13335

    [3] https://jeremybernste.in/writing/deriving-muon

  2. usernametaken29

    > Es gibt viele interessante offene Fragen. Die erste ist, ob und wie Dust bessere Richtungen finden kann als der First-Order-Gradient von Backprop

    Beide Algorithmen sind durch dieselbe Pareto-Front basierend auf dem Prinzip der empirischen Risikominimierung gebunden, also befinden sie sich bereits auf derselben Trajektorie.

    Interessanterweise ist Backprop durch die Konditionierung der Hessematrix begrenzt, um zu konvergieren (korrekt zu differenzieren). Diese Einschränkung zu beseitigen, ist also tatsächlich ein großer Schritt.

    Ich freue mich auf ein Comeback evolutionärer Methoden, weil sie viel allgemeiner sind, wenn auch teuer und naiv.

    Wir sind jetzt sehr nah an dem, was man am besten als Brute-Forcing der Pareto-Front aus unseren Datensätzen beschreiben kann. Ich bin mir nicht sicher, ob das das ist, was wir wollen, aber ich habe auch keine besseren Ideen.

  3. polyomino

    Auch wenn das viel teurer ist als Backprop, könnte ein hybrider Ansatz, bei dem man einen bestehenden Checkpoint, der backproppt wurde, feinabstimmt, weitere Gewinne freischalten?

    Es wäre cool, das auf verschiedene Phasen anzuwenden und zu sehen, ob das die Lernkurve beeinflusst

  4. wg0

    Es ist rechenintensiv und undurchführbar, aber was ist der Vorteil?

    Ehrliche Frage, weil ich mit dem Thema nicht vertraut bin.

  5. api

    Es klingt, als wäre das weniger recheneffizient als Backprop, aber leichter parallelisierbar. Ist das fair?

Mehr von diesem Tag

2026-10-05