行列微分は不要、物理学者のやり方で十分

You Don't Need Matrix Calculus

機械学習の流行で再注目される行列微分だが、複雑なルールを覚える必要はない。物理学者が1世紀前から使う「添字を書き下す」方法なら、通常の微分だけで済み、速くて確実。ニューロンの活性化関数を例に、行列積を成分ごとに書き出し、3つの変数に関する微分を一度に求める手順を実演。行列微分の導出と比較し、その複雑さを浮き彫りにする。

行列微分は非常に特定の形式の数式にしか使えず、適用するには大量の新しいルールを暗記する必要がある。それでも、実際にはほとんど時間の節約にならない。
  1. srean

    同じ指摘はbolluがここでしている

    https://news.ycombinator.com/item?id=23359467

この日のほかの記事

2026-09-12