loss.backward() 背后究竟发生了什么？

What loss.backward() actually does

如果你训练过神经网络，大概率都敲过 loss.backward()，却说不清底层到底在干嘛。这篇文章带你彻底搞懂 PyTorch 这类引擎的核心机制，甚至让你能自己手写一个。作者基于 micrograd 灵感，用 C 语言写了一个叫 microcrad 的标量自动微分引擎，手把手拆解反向传播的奥秘。从链式法则到计算图的自动构建，再到为什么必须“反向”传播，文章用极简代码和数学推导，把“很多输入、一个输出”的梯度计算逻辑讲得明明白白。读完你不仅知道怎么做，更明白为什么这么做，彻底告别黑盒调参。

"这种不对称性正是神经网络之所以能够被训练的根本原因。"