PC-ALM: 1000-Schichten-Netze ohne Backpropagation trainiert

Backprop Alternative: Augmented Lagrangian Predictive Coding

Forscher von Sakana AI stellen PC-ALM vor, eine lokale Alternative zu Backpropagation. Jede Schicht arbeitet als PI-Regler mit Lagrange-Multiplikatoren, die den Fehler über das Netz verteilen. Damit trainieren sie residuale MLPs mit bis zu 1000 Schichten fast so gut wie Backprop – und überwinden das Signalabfall-Problem von Predictive Coding. Das könnte energieeffizientes Lernen auf neuromorpher Hardware ermöglichen.