Softmax関数の導関数を徹底的に導出する

The Softmax function and its derivative

Softmax関数は任意の実数ベクトルを(0,1)の範囲で合計1になる確率ベクトルに変換する。この記事では、その数学的性質と確率的解釈を説明し、ヤコビ行列を用いて導関数を一から導出。さらに、数値的安定性を保つ実装方法や、機械学習のsoftmax層における連鎖律の適用、クロスエントロピー損失との関係までを丁寧に解説する。