1. 深度学习基础

1.1 与传统神经网络的区别

1.2 目标函数

• 可以想象为交叉熵生成的“地形”更为“陡峭”；
  
  

1.3 改进的梯度下降

1.3.1 梯度消失的直观解释

• 神经元的激活函数使用Sigmoid函数，则大部分的情况下，Sigmoid的导数<1/4；
• 2006年，使用RBM预训练的方法解决梯度消失的问题；
• 2015年，使用ReLU函数；
  • ReLU计算速度快；
  • 有生物学依据；
  • 能够解决梯度消失；
    

1.3.2 学习步长

1.3.3 SGD的问题

1.3.4 Momentum

1.3.5 Adagrad

1.3.6 RMSprop

1.3.7 Adam

1.3.8 各种梯度下降算法的比较

1.4 避免过拟合

1.4.1 BN的步骤

1.4.2 避免过适应

---

2. CNN初步介绍

2.1 CNN的基本部件

2.2 卷积层的误差反向传播

2.3 池化层的误差反向传播