Backprop 없이 1000층 신경망 훈련하는 PC-ALM 등장
Backprop Alternative: Augmented Lagrangian Predictive Coding
Sakana AI가 backpropagation을 대체하는 PC-ALM을 공개했다. 각 층에 Lagrange multiplier를 도입해 국소적 동역학만으로 1000층 residual MLP를 훈련하며, 기존 predictive coding의 신호 감쇠 문제를 극복하고 backprop에 근접한 성능을 보인다. 선형 네트워크에서는 정확한 backprop credit 신호를 복원한다.
PC-ALM can successfully propagate supervision credit in 1000-layer neural networks, overcoming standard PC’s signal decay problem while remaining layer-local.