逐步理解深度信念网络

1. 深度信念网络（DBN）是通过逐层训练的方式，解决深层次神经网络的优化问题，通过逐层训练为整个网络赋予了较好的初始权值，使得网络只要经过微调就可以达到最优解。
2. 训练DBN时最重要的是“受限玻尔兹曼机”（RBM）
   1. 玻尔兹曼机（BM）：
      1. 是一种随机神经网络，网络中的神经元只有两种状态（未激活，激活），用二进制0,1表示，状态的取值根据概率统计法则决定。关键：能量最少时，网络最稳定，此时网络最优。
      2. BM是由随机神经元全连接组成的反馈神经网络，对称连接，由可见层、隐层组成，可以看做一个无向图：（x1、x2、x3为可见层，x4、x5、x6为隐层）
      3. 玻尔兹曼机（BM）可以用在监督学习和无监督学习中。在监督学习中，可见变量又可以分为输入和输出变量，隐变量则隐式地描述了可见变量之间复杂的约束关系。在无监督学习中，隐变量可以看做是可见变量的内部特征表示，能够学习数据中复杂的规则。玻尔兹曼机代价是训练时间很长很长很长。
   2. 受限玻尔兹曼机（RBM）：
      1. 是对BM进行了简化，原本BM的可见元和隐元之间是全连接的，而且隐元和隐元之间也是全连接的，则增加了计算量和难度
      2. RBM也有一个可见层，一个隐层，但层内无连接，层与层之间全连接，是一个二分图，感觉就是全连接：
      3. RBM本质是非监督学习的利器，可以用于降维（隐层设置少一点）、学习提取特征（隐层输出就是特征），自编码器（autoencoder)以及深度信念网网络（多个RBM）
      4. RBM通过学习将数据表示为概率模型，一旦模型通过无监督学习被训练或收敛到一个稳定的状态，它还可被用于生成新数据。
3. 深度信念网络：

os：感觉就是全连接层的前身，以上只是以前人逐步提出的视角来学习。