La función Softmax y su derivada
The Softmax function and its derivative
La función softmax transforma un vector de valores reales en una distribución de probabilidad, con salidas en (0,1) que suman 1. El artículo explica su interpretación probabilística en clasificación multiclase, deriva su Jacobiano usando cálculo vectorial y la regla de la cadena, y muestra cómo implementarla de forma numéricamente estable en Python. También detalla la derivada de una capa softmax completa y su relación con la pérdida de entropía cruzada.
Intuitivamente, la función softmax es una versión "suave" de la función máximo. En lugar de seleccionar solo un elemento máximo, softmax divide el vector en partes de un todo (1.0), donde el elemento de entrada máximo obtiene una proporción mayor, pero los demás también reciben algo.