행렬 미적분은 필요 없다

You Don't Need Matrix Calculus

머신러닝의 인기와 함께 자주 등장하는 행렬 미적분은 벡터나 행렬 변수 함수를 미분할 때 복잡한 규칙을 요구한다. 하지만 물리학자들이 텐서를 다루던 방식처럼, 그냥 인덱스를 풀어쓰고 일반 미분을 사용하면 항상 통하고 더 빠르다. 신경망 활성화 함수를 예로 들어 행렬 미적분 없이 세 가지 미분을 한 번에 구하는 방법을 보여준다.