PC-ALM обучает 1000-слойные сети без backpropagation
Backprop Alternative: Augmented Lagrangian Predictive Coding
Исследователи из Sakana AI представили PC-ALM — локальный метод обучения, который заменяет обратное распространение ошибки на динамические системы в каждом слое. Каждый слой связан только с соседями, а обучение происходит во времени, а не в два прохода. В отличие от стандартного predictive coding, PC-ALM добавляет двойственные нейроны (множители Лагранжа), что позволяет точно восстанавливать сигналы backprop в линейном пределе. Эксперименты показывают, что PC-ALM успешно распространяет кредит доверия в 1000-слойных residual MLP, преодолевая проблему затухания сигнала, которая мучает обычный PC. Работа может найти применение в энергоэффективном глубоком обучении на нейроморфном оборудовании.
В предельном случае линейных сетей двойственные нейроны сходятся к точным сигналам кредита backprop, несмотря на использование только локальных вычислений.