1.预备知识

对矩阵求导的理解可以借鉴我们高中熟悉的导数，在高中的时候我们都是对标量求导，标量其实也可以看成是一种特殊的1*1的矩阵。本文主要是为了记录机器学习中反向传播的过程，所以不对矩阵求导做过多的分析（事实上是我也不会，只会简单的）。

这里仅给出后面反向传播过程需要用到的一种矩阵求导的情形：
∂ ( a T x ) ∂ x = ∂ ( a 1 x 1 + a 2 x 2 + ⋯ + a n x n ) ∂ x = [ ∂ ( a 1 x 1 + a 2 x 2 + ⋯ + a n x n ) ∂ x 1 ∂ ( a 1 x 1 + a 2 x 2 + ⋯ + a n x n ) ∂ x 2 ⋮ ∂ ( a 1 x 1 + a 2 x 2 + ⋯ + a n x n ) ∂ x n ] = [ a 1 a 2 ⋮ a n ] = a

∂x∂(aTx)​​=∂x∂(a1​x1​+a2​x2​+⋯+an​xn​)​=⎣ ⎡​∂x1​∂(a1​x1​+a2​x2​+⋯+an​xn​)​∂x2​∂(a1​x1​+a2​x2​+⋯+an​xn​)​⋮∂xn​∂(a1​x1​+a2​x2​+⋯+an​xn​)​​⎦ ⎤​=⎣ ⎡​a1​a2​⋮an​​⎦ ⎤​=a​
看懂这个我们就可以开始啦~

2.反向传播

我们开始向后传播：

隐藏层第2层：
$$激活函数:d{a}^{[2]}=\frac{\partial L}{\partial a^{[2]}}$$

$$d{z}^{[2]}=\frac{\partial L}{\partial z^{[2]}}=\frac{\partial L}{\partial a^{[2]}}\cdot \frac{\partial a^{[2]}}{\partial z^{[2]}}=d{a}^{[2]}\cdot g^{[2]’}(z^{[2]})$$

$$\begin{gathered} d{W}^{[2]}=\frac{\partial L}{\partial W^{[2]}}=\frac{\partial L}{\partial z^{[2]}}\cdot \frac{\partial z^{[2]}}{\partial W^{[2]}}=d{z}^{[2]}\cdot a^{[1]T} \\ \Rightarrow W^{[2]}-=\alpha \cdot d{W}^{[2]} \end{gathered}$$

$$\begin{gathered} d{b}^{[2]}=\frac{\partial L}{\partial b^{[2]}}=\frac{\partial L}{\partial z^{[2]}}\cdot \frac{\partial z^{[2]}}{\partial b^{[2]}}=d{z}^{[2]} \\ \Rightarrow b^{[2]}-=\alpha \cdot d{b}^{[2]} \end{gathered}$$

隐藏层第1层：
$$激活函数:d{a}^{[1]}=\frac{\partial L}{\partial a^{[1]}}=\frac{\partial L}{\partial z^{[2]}}\cdot \frac{\partial z^{[2]}}{\partial a^{[1]}}=W^{[2]T}\cdot d{z}^{[2]}$$
说实话，这一步的计算结果我有点没懂：

$\frac{\partial L}{\partial z^{[2]}}$ 是 $d{z}^{[2]}$，$\frac{\partial z^{[2]}}{\partial a^{[1]}}$ 是 $W^{[2]T}$，为什么相乘的结果是 $W^{[2]T}\cdot d{z}^{[2]}$，而不是 $d{z}^{[2]}\cdot W^{[2]T}$。

$$d{z}^{[1]}=\frac{\partial L}{\partial z^{[1]}}=\frac{\partial L}{\partial a^{[1]}}\cdot \frac{\partial a^{[1]}}{\partial z^{[1]}}=d{a}^{[1]}\cdot g^{[1]’}(z^{[1]})$$

$$\begin{gathered} d{W}^{[1]}=\frac{\partial L}{\partial W^{[1]}}=\frac{\partial L}{\partial z^{[1]}}\cdot \frac{\partial z^{[1]}}{\partial W^{[1]}}=d{z}^{[1]}\cdot a^{[0]T} \\ \Rightarrow W^{[1]}-=\alpha \cdot d{W}^{[1]} \end{gathered}$$

$$\begin{gathered} d{b}^{[1]}=\frac{\partial L}{\partial b^{[1]}}=\frac{\partial L}{\partial z^{[1]}}\cdot \frac{\partial z^{[1]}}{\partial b^{[1]}}=d{z}^{[1]} \\ \Rightarrow b^{[1]}-=\alpha \cdot d{b}^{[1]} \end{gathered}$$

3.总结

第l层：
$$激活函数:d{a}^{[l]}=\frac{\partial L}{\partial a^{[l]}}=\frac{\partial L}{\partial z^{[l+1]}}\cdot \frac{\partial z^{[l+1]}}{\partial a^{[l]}}=W^{[l+1]T}\cdot d{z}^{[l+1]}$$

$$\begin{gathered} d{z}^{[l]}=\frac{\partial L}{\partial z^{[l]}}=\frac{\partial L}{\partial a^{[l]}}\cdot \frac{\partial a^{[l]}}{\partial z^{[l]}}=d{a}^{[l]}\cdot g^{[l]’}(z^{[l]}) \\ \Rightarrow d{z}^{[l]}=W^{[l+1]T}d{z}^{[l+1]}\cdot g^{[l]’}(z^{[l]}) \end{gathered}$$

$$\begin{gathered} d{W}^{[l]}=\frac{\partial L}{\partial W^{[l]}}=\frac{\partial L}{\partial z^{[l]}}\cdot \frac{\partial z^{[l]}}{\partial W^{[l]}}=d{z}^{[l]}\cdot a^{[l-1]T} \\ \Rightarrow W^{[l]}-=\alpha \cdot d{W}^{[l]} \end{gathered}$$

$$\begin{gathered} d{b}^{[l]}=\frac{\partial L}{\partial b^{[l]}}=\frac{\partial L}{\partial z^{[l]}}\cdot \frac{\partial z^{[l]}}{\partial b^{[l]}}=d{z}^{[l]} \\ \Rightarrow b^{[l]}-=\alpha \cdot d{b}^{[l]} \end{gathered}$$