【李沐深度学习笔记】自动求导

课程地址和说明

自动求导p1
本系列文章是我学习李沐老师深度学习系列课程的学习笔记，可能会对李沐老师上课没讲到的进行补充。
吸取上一次写文章的经验，这次公式部分尽量采用直接截图，不用lateX，用lateX有一些浪费时间

自动求导

标量方程的链式求导法则

标量对向量的求导的链式求导法则

假如还按照标量方程的链式求导法则求导，发现无法让最终结果通过矩阵乘法：

分析下面简单的例子：

最终，标量对向量的链式求导公式为：

与标量方程的链式求导公式相比，仅仅是调换了顺序

举个例子：

向量方程链式求导法则公式

【注】上一节有公式可以直接用，这里又用了分母布局（总是混用，有点难受），对其中的一些难点我做了点推导：

【注】上面的推导上节课都有公式，具体为：

自动求导

计算图

mxnet和tensorflow都可以显示构造计算图

自动求导的两种模式

【注】正向累积是说从$x$出发，先找到关于$x$的函数，然后一层一层往外求，反向累计则相反。

反向传递自动求导过程

反向累积总结

复杂度