NNDL 实验八 网络优化与正则化（5）逐层规范化

7.5 逐层规范化（Layer-wise Normalization）

将传统机器学习中的数据规范化方法应用到深度神经网络中，对神经网络中隐藏层的输入进行规范化，从而使得网络更容易训练。

下面介绍两种比较常用的逐层规范化方法：

• 批量规范化（Batch Normalization）
• 层规范化（Layer Normalization）

7.5.1 批量规范化

7.5.1.1 BatchNorm算子

7.5.1.2 支持逐层规范化的MLP算子

7.5.1.3 内部协变量偏移实验

7.5.1.4 均值和方差的移动平均计算实验

7.5.1.5 在MNIST数据集上使用带批量规范化的卷积网络

 

7.5.2 层规范化

层规范化（Layer Normalization）和批量规范化是非常类似的方法，它们的区别在于：

批量规范化对中间层的单个神经元进行规范化操作，

层规范化对一个中间层的所有神经元进行规范化。

7.5.2.1 LayerNorm算子

7.5.2.2 层规范化的验证实验