NNDL 实验八 网络优化与正则化（4）参数初始化

7.4 参数初始化

7.4.1 基于固定方差的参数初始化

高斯分布和均匀分布初始化的实现方式可以参考第4.4.1节参数初始化代码。

7.4.2 基于方差缩放的参数初始化

本节动手实现Xavier初始化，并观察其效果。

从输出结果看，使用Xavier初始化，模型的损失相对较小，模型效果更好。 

7.4.2.1 模型构建

7.4.2.2 观察模型神经元的方差变化

7.4.2.3 观察模型训练收敛性