Почему backpropagation идёт назад
Why back propagation goes backward
Автор объясняет, почему обучение нейросетей методом обратного распространения ошибки требует прохода именно в обратном направлении. Если вычислять градиенты прямым проходом, одни и те же промежуточные величины будут многократно дублироваться, что приводит к квадратичной сложности по числу узлов. Обратный проход позволяет каждому узлу передавать свой локальный вклад, обеспечивая линейное время работы.
Каждый узел сообщает своим вышестоящим соседям, что они сделали не так. Но алгоритм работает именно так, потому что наивное решение с прямым распространением имело бы квадратичное время выполнения по числу узлов.