Warum Backpropagation rückwärts laufen muss
Why back propagation goes backward
Gregory Gundersen erklärt, warum Backpropagation rückwärts abläuft. Die übliche Erklärung, dass Fehler rückwärts propagiert werden, beantwortet nicht die Frage, warum man den Gradienten nicht einfach vorwärts berechnet. Der Artikel zeigt: Ein Vorwärtsalgorithmus würde dieselben Terme mehrfach weiterreichen und quadratische Laufzeit haben. Der Rückwärtsdurchlauf nutzt die Kettenregel und erreicht lineare Laufzeit, indem jeder Knoten seine lokale Ableitung an vorgelagerte Knoten weitergibt.
Wenn unser Berechnungsgraph eine Funktion darstellt, ist es unmöglich, ohne Zugriff auf und damit auf zu berechnen.