04.7. 前向传播、反向传播和计算图

4.7. 前向传播、反向传播和计算图

我们已经学习了如何用小批量随机梯度下降训练模型。 然而当实现该算法时，我们只考虑了通过前向传播（forward propagation）所涉及的计算。
在计算梯度时，我们只调用了深度学习框架提供的反向传播函数，而不知其所以然。

梯度的自动计算（自动微分）大大简化了深度学习算法的实现。 在自动微分之前，即使是对复杂模型的微小调整也需要手工重新计算复杂的导数， 学术论文也不得不分配大量页面来推导更新规则。
在本节中，我们将通过一些基本的数学和计算图， 深入探讨反向传播的细节。
首先，我们将重点放在带权重衰减（正则化）的单隐藏层多层感知机上。

4.7.1. 前向传播

前向传播（forward propagation或forward pass） 指的是：按顺序（从输入层到输出层）计算和存储神经网络中每层的结果。

4.7.2. 前向传播计算图

绘制计算图有助于我们可视化计算中操作符和变量的依赖关系。
图是与上述简单网络相对应的计算图， 其中正方形表示变量，圆圈表示操作符。 左下角表示输入，右上角表示输出。
注意显示数据流的箭头方向主要是向右和向上的。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0bXm8jR2-1662888839057)(https://zh.d2l.ai/_images/forward.svg)]

4.7.3. 反向传播

反向传播（backward propagation或backpropagation）指的是计算神经网络参数梯度的方法。
简言之，该方法根据微积分中的链式规则，按相反的顺序从输出层到输入层遍历网络。 该算法存储了计算某些参数梯度时所需的任何中间变量（偏导数）。

4.7.4. 训练神经网络

在训练神经网络时，前向传播和反向传播相互依赖。
对于前向传播，我们沿着依赖的方向遍历计算图并计算其路径上的所有变量。
然后将这些用于反向传播，其中计算顺序与计算图的相反。

4.7.5. 小结

• 前向传播在神经网络定义的计算图中按顺序计算和存储中间变量，它的顺序是从输入层到输出层。
• 反向传播按相反的顺序（从输出层到输入层）计算和存储神经网络的中间变量和参数的梯度。
• 在训练深度学习模型时，前向传播和反向传播是相互依赖的。
• 训练比预测需要更多的内存。