PC-ALM entrena redes de 1000 capas sin retropropagación
Backprop Alternative: Augmented Lagrangian Predictive Coding
PC-ALM es un método de aprendizaje local que reemplaza la retropropagación con dinámicas por capas. Inspirado en el Lagrangian aumentado, introduce neuronas duales que actúan como controladores PI, distribuyendo la señal de crédito sin necesidad de una pasada hacia atrás sincronizada. En experimentos con MLPs residuales de hasta 1000 capas, supera el problema de decaimiento de señal del predictive coding estándar y se acerca al rendimiento de backprop, manteniendo solo comunicación entre capas vecinas.
En el caso límite de redes lineales, las neuronas duales convergen a las señales exactas de crédito de backprop, a pesar de usar solo computación local.