Softmax 함수와 그 도함수
The Softmax function and its derivative
Softmax 함수는 임의의 실수 벡터를 각 원소가 (0,1) 범위이고 합이 1인 확률 벡터로 변환한다. 이 글은 softmax의 정의와 확률적 해석을 소개하고, 벡터 미적분을 이용해 도함수(야코비안)를 유도한다. 또한 수치적 안정성을 위한 안정적인 softmax 구현과 softmax 레이어의 도함수, 크로스 엔트로피 손실과의 관계를 다룬다.
Softmax 함수는 '최댓값 함수'의 부드러운 버전이다. 단 하나의 최대 원소를 선택하는 대신, softmax는 벡터를 전체 1.0의 부분들로 나누어 최대 입력 원소가 비례적으로 더 큰 몫을 갖되 다른 원소들도 일부를 가져가도록 한다.