torch.optim.Adam

Adam在PyTorch的官方文档中有详细介绍，摘录如下：

在此有几处知识点做些详细说明。
上图的算法排除IF后（一般情况），按如下执行：

1. 计算梯度：$g_t\leftarrow {\nabla }_{\theta }{f}_t\left({\theta }_{t-1}\right)$
2. 累计梯度：$m_t\leftarrow {\beta }_1{m}_{t-1}+\left(1-{\beta }_1\right)g_t$
3. 累计梯度的平方：$v_t\leftarrow {\beta }_2{v}_{t-1}+\left(1-{\beta }_2\right)g_t^2$
4. 偏差修正：$\widehat{m_t}\leftarrow m_t/\left(1-({\beta }_1{)}^t\right)$
5. 偏差修正：$\widehat{v_t}\leftarrow v_t/\left(1-({\beta }_2{)}^t\right)$
6. 更新参数：${\theta }_t\leftarrow {\theta }_{t-1}-\gamma \widehat{m_t}/\left(\sqrt{\widehat{v_t}}+ϵ\right)$

其中累计梯度和梯度的平方均用指数加权平均（exponentially weighted averges）的方法来实现，如果学习过吴恩达老师的deepLearning课程应该不陌生，这个方法的通式为：
$$v_t=\beta \ast v_{t-1}+(1-\beta )\ast {\theta }_t$$
其中${\theta }_t$为本次迭代的数值，$v_{t-1}$为上一次累计的数值，$\beta$为权重。一般将权重下降到峰值权重的$1/e$时，就说他平均了$1/(1-\beta )$个数据。例如$\beta =0.9$时，基本认为其平均此前的10次数据。但该方法会导致前期的指数加权平均存在较大误差，因此需要进行偏差修正。而Adam优化器中，就引入了修正方法：
$$v_t=\frac{v_t}{1-{\beta }^t}$$
所以在上述Adam优化器的过程中，有4，5两步进行偏差修正。