行列微分は不要、物理学者のやり方で十分
You Don't Need Matrix Calculus
機械学習の流行で再注目される行列微分だが、複雑なルールを覚える必要はない。物理学者が1世紀前から使う「添字を書き下す」方法なら、通常の微分だけで済み、速くて確実。ニューロンの活性化関数を例に、行列積を成分ごとに書き出し、3つの変数に関する微分を一度に求める手順を実演。行列微分の導出と比較し、その複雑さを浮き彫りにする。
行列微分は非常に特定の形式の数式にしか使えず、適用するには大量の新しいルールを暗記する必要がある。それでも、実際にはほとんど時間の節約にならない。
- srean
同じ指摘はbolluがここでしている