loss.backward()가 실제로 하는 일

What loss.backward() actually does

신경망을 훈련해 본 사람이라면 누구나 loss.backward()를 호출해 봤을 것이다. 하지만 그 뒤에서 정확히 무슨 일이 일어나는지 설명할 수 있는 사람은 드물다. 이 글은 PyTorch와 같은 엔진의 핵심 메커니즘을 직접 구현할 수 있을 정도로 설명한다. 미분의 연쇄 법칙과 역방향 자동 미분의 개념을 통해, 왜 역방향으로 한 번의 스윕만으로 모든 파라미터에 대한 기울기를 얻을 수 있는지 보여준다. 또한 계산 그래프가 어떻게 자동으로 구축되는지, 그리고 역방향 패스가 어떻게 동작하는지 microcrad라는 스칼라 기반 자동 미분 엔진의 코드와 함께 설명한다.