Die Softmax-Funktion und ihre Ableitung
The Softmax function and its derivative
Softmax verwandelt einen Vektor beliebiger reeller Zahlen in Wahrscheinlichkeiten, die sich zu 1 summieren. Der Artikel erklärt die Ableitung – die Jacobi-Matrix – und zeigt, wie man sie mit der multivariaten Kettenregel für einen Softmax-Layer berechnet. Außerdem wird die numerische Stabilität behandelt: Eine einfache Implementierung in Python kann bei großen Eingaben NaN liefern, weshalb man die Eingaben um das Maximum verschiebt.
Intuitiv ist die Softmax-Funktion eine „weiche“ Version der Maximum-Funktion. Statt nur ein maximales Element auszuwählen, zerlegt Softmax den Vektor in Teile eines Ganzen (1,0), wobei das maximale Eingabeelement einen proportional größeren Anteil erhält, aber die anderen Elemente ebenfalls etwas davon abbekommen.