Backpropagation이 왜 뒤로 가는지에 대한 진짜 이유

Why back propagation goes backward

Backpropagation이 왜 순방향이 아니라 역방향으로 계산해야 하는지에 대한 근본적인 이유를 설명한다. 순방향으로 그래디언트를 계산하면 같은 메시지를 여러 번 반복 전달해야 해서 계산량이 노드 수의 제곱에 비례해 폭발한다. 반면 역방향으로 각 노드가 자신의 로컬 항을 한 번만 전달하면 선형 시간에 그래디언트를 구할 수 있다. 이는 신경망 학습에서 credit assignment 문제를 효율적으로 해결하는 방법이다.