机器学习之变分推断(三)基于平均场假设变分推断与广义EM

引言

上一节介绍了基于平均场假设 的变分推断推导过程。本节将介绍平均场假设变分推断与广义EM之间的联系。

回顾：基于平均场假设的变分推断

首先，平均场理论(Mean Theory)是一个物理学的概念，将隐变量在概率图中的状态变量 划分成$\mathcal{M}$个组，将整个关于 隐变量的概率分布看作$\mathcal{M}$个独立的子概率分布。数学符号表示如下：
Q ( Z ) = ∏ i = 1 M Q i ( Z ( i ) ) = Q 1 ( Z ( 1 ) ) ⋅ Q 2 ( Z ( 2 ) ) ⋯ Q M ( Z ( M ) ) Q(Z)=M∏i=1Qi(Z(i))=Q1(Z(1))⋅Q2(Z(2))⋯QM(Z(M))

Q(Z)​=i=1∏M​Qi​(Z(i))=Q1​(Z(1))⋅Q2​(Z(2))⋯QM​(Z(M))​
由于平均场假设，$\mathcal{Q}(\mathcal{Z})$内部各子概率分布${\mathcal{Q}}_i({\mathcal{Z}}^{(i)})$之间相互独立，因此，在求解 任一子概率分布 Q j ( Z ( j ) ) ( j ∈ { 1 , 2 , ⋯   , M } ) \mathcal Q_j(\mathcal Z^{(j)})(j \in \{1,2,\cdots,\mathcal M\}) Qj​(Z(j))(j∈{1,2,⋯,M}) 过程中，可以通过固定剩余的$\mathcal{M}-1$项进行求解。令：
注意：由于只将${\mathcal{Z}}^{(j)}$看作变量，因此该期望基于的分布${\prod }_{i\ne j}^{\mathcal{M}}{\mathcal{Q}}_i({\mathcal{Z}}^{(i)})$是已知分布。同理，隐变量$\mathcal{Z}=({\mathcal{Z}}^{(1)},{\mathcal{Z}}^{(2)},\cdots ,{\mathcal{Z}}^{(\mathcal{M})})$中只有${\mathcal{Z}}^{(j)}$是变量，其余均是常数。因此，将该期望视作关于$\mathcal{X},{\mathcal{Z}}^{(j)}$的函数。
$${\mathbb{E}}_{{\prod }_{i\ne j}^{\mathcal{M}}{\mathcal{Q}}_i({\mathcal{Z}}^{(i)})}\left[\log P(\mathcal{X},\mathcal{Z})\right]=\log \hat{\varphi }(\mathcal{X},{\mathcal{Z}}^{(j)})$$

从而求解最优$\widehat{{\mathcal{Q}}_j}({\mathcal{Z}}^{(j)})$的值：
Q j ^ ( Z ( j ) ) = arg ⁡ max ⁡ Q j ( Z ( j ) ) L [ Q ( Z ) ] = arg ⁡ max ⁡ Q j ( Z ( j ) ) { − K L [ ϕ ^ ( X , Z ( j ) ) ∣ ∣ Q j ( Z ( j ) ) ] } ^Qj(Z(j))=argmaxQj(Z(j))L[Q(Z)]=argmaxQj(Z(j)){−KL[ˆϕ(X,Z(j))||Qj(Z(j))]}

Qj​^​(Z(j))​=Qj​(Z(j))argmax​L[Q(Z)]=Qj​(Z(j))argmax​{−KL[ϕ^​(X,Z(j))∣∣Qj​(Z(j))]}​
同理，可以尝试求解其他的子概率分布：
$$\widehat{{\mathcal{Q}}_1}({\mathcal{Z}}^{(1)}),\widehat{{\mathcal{Q}}_1}({\mathcal{Z}}^{(1)}),\cdots ,\widehat{{\mathcal{Q}}_{\mathcal{M}}}({\mathcal{Z}}^{(\mathcal{M})})$$
最终，求得最优解$\hat{\mathcal{Q}}(\mathcal{Z})$：
$$\hat{\mathcal{Q}}(\mathcal{Z})=\prod _{j=1}^{\mathcal{M}}{\hat{\mathcal{Q}}}_j({\mathcal{Z}}^{(j)})$$

深入认识平均场假设

观察上式，上述的推导过程看似无懈可击，但实际上 存在漏洞。
并不是说$\hat{\mathcal{Q}}(\mathcal{Z})={\prod }_{j=1}^{\mathcal{M}}{\hat{\mathcal{Q}}}_j({\mathcal{Z}}^{(j)})$是错误的，因为该式子是 平均场假设给我们提供的条件。具体漏洞在什么地方？

如果我们将$\mathcal{Q}(\mathcal{Z})$看成关于${\mathcal{Q}}_1({\mathcal{Z}}^{(1)}),{\mathcal{Q}}_2({\mathcal{Z}}^{(2)}),\cdots ,{\mathcal{Q}}_{\mathcal{M}}({\mathcal{Z}}^{(\mathcal{M})})$的函数。即令：
将上式展开即可~
Q ( Z ) = Q 1 ( Z ( 1 ) ) ⋅ Q 2 ( Z ( 2 ) ) ⋯ Q M ( Z ( M ) ) = J ( Q 1 , Q 2 , ⋯   , Q M ) Q(Z)=Q1(Z(1))⋅Q2(Z(2))⋯QM(Z(M))=J(Q1,Q2,⋯,QM)

Q(Z)​=Q1​(Z(1))⋅Q2​(Z(2))⋯QM​(Z(M))=J(Q1​,Q2​,⋯,QM​)​
每一次都固定$\mathcal{M}-1$的变量，只为求出剩余变量的最优结果。那么如果初始隐变量是随机的，即如果每次求解过程中都对随机结果进行固定并求解，那么我们总是得不到一个最优结果。
因此，如何在各自概率分布分别固定的过程中，使$\hat{\mathcal{Q}}(\mathcal{Z})$越来越好，最终达到最优？
依然是坐标上升法(Coordinate Ascent)。

• 假设当前求解${\mathcal{Q}}_1({\mathcal{Z}}^{(1)})$，同时固定其余所有分布，我们会得到如下结果：
  $$\widehat{{\mathcal{Q}}_1}({\mathcal{Z}}^{(1)})=\underset{{\mathcal{Q}}_1({\mathcal{Z}}^{(1)})}{\mathrm{argmax}}\left\{-\mathcal{K}\mathcal{L}\left[\hat{\varphi }(\mathcal{X},{\mathcal{Z}}^{(1)})||{\mathcal{Q}}_1({\mathcal{Z}}^{(1)})\right]\right\}$$
  此时的$\mathcal{Q}(\mathcal{Z})$表示如下：
  将第一次迭代产生的最优解$\widehat{{\mathcal{Q}}_1}({\mathcal{Z}}^{(1)})$带进$\mathcal{Q}(\mathcal{Z})$中。
  $$\mathcal{Q}(\mathcal{Z})=\mathcal{J}(\widehat{{\mathcal{Q}}_1},{\mathcal{Q}}_2,\cdots ,{\mathcal{Q}}_{\mathcal{M}})$$
• 在第一步的基础上，求解${\hat{\mathcal{Q}}}_2({\mathcal{Z}}^{(2)})$：
  $$\widehat{{\mathcal{Q}}_2}({\mathcal{Z}}^{(2)})=\underset{{\mathcal{Q}}_2({\mathcal{Z}}^{(2)})}{\mathrm{argmax}}\left\{-\mathcal{K}\mathcal{L}\left[\hat{\varphi }(\mathcal{X},{\mathcal{Z}}^{(2)})||{\mathcal{Q}}_2({\mathcal{Z}}^{(2)})\right]\right\}$$
  此时的$\mathcal{Q}(\mathcal{Z})$表示如下：
  同上~
  $$\mathcal{Q}(\mathcal{Z})=\mathcal{J}(\widehat{{\mathcal{Q}}_1},\widehat{{\mathcal{Q}}_2},\cdots ,{\mathcal{Q}}_{\mathcal{M}})$$
• 以此类推，直到固定最后一个子概率分布${\mathcal{Q}}_{\mathcal{M}}({\mathcal{Z}}^{(\mathcal{M})})$，最终得到：
  $$\mathcal{Q}(\mathcal{Z})=\mathcal{J}(\widehat{{\mathcal{Q}}_1},\widehat{{\mathcal{Q}}_2},\cdots ,{\hat{\mathcal{Q}}}_{\mathcal{M}})$$
  此时，我们已经将 所有的子概率分布 全部求解一遍，并不是说此时的$\mathcal{Q}(\mathcal{Z})$就是最优分布，而是仅完整地执行了第一次迭代。
  后续将继续从第一个$\widehat{{\mathcal{Q}}_1}({\mathcal{Z}}^{(1)})$再次进行求解。这种方式就可以逐渐得到最优的$\mathcal{Q}(\mathcal{Z})$。

经典变分推断与广义EM

基于平均场假设的变分推断与广义EM存在很多相似之处：

• 它们的求解方式都是基于$\mathcal{K}\mathcal{L}$散度的性质，将求解过程转换为如下形式：
  $$\mathrm{argmax}ELBO$$
• 并且它们均转化为坐标上升法来解决最优解问题：
  • 广义EM：
    $$\begin{gathered} \{\begin{array}{l}\hat{\mathcal{Q}}(\mathcal{Z})=\underset{\mathcal{Q}(\mathcal{Z})}{\mathrm{argmax}}\mathcal{L}\left[\mathcal{Q}(\mathcal{Z}),\theta \right]\\ \hat{\theta }=\underset{\theta }{\mathrm{argmax}}\mathcal{L}[\mathcal{Q}(\mathcal{Z}),\theta ]\end{array} \\ \mathcal{L}[\mathcal{Q}(\mathcal{Z}),\theta ]={\int }_{\mathcal{Z}}\mathcal{Q}(\mathcal{Z})\log \frac{P(\mathcal{X},\mathcal{Z}\mid {\theta }^{(t)})}{\mathcal{Q}(\mathcal{Z})}d\mathcal{Z} \end{gathered}$$
  • 基于平均场假设的变分推断：
    $$\begin{gathered} \begin{array}{rl}\widehat{{\mathcal{Q}}_j}({\mathcal{Z}}^{(j)})& =\underset{{\mathcal{Q}}_j({\mathcal{Z}}^{(j)})}{\mathrm{argmax}}\mathcal{L}[\mathcal{Q}(\mathcal{Z})]\\ & =\underset{{\mathcal{Q}}_j({\mathcal{Z}}^{(j)})}{\mathrm{argmax}}\left\{-\mathcal{K}\mathcal{L}\left[\hat{\varphi }(\mathcal{X},{\mathcal{Z}}^{(j)})||{\mathcal{Q}}_j({\mathcal{Z}}^{(j)})\right]\right\}\end{array} \\ \mathcal{L}[\mathcal{Q}(\mathcal{Z})]={\int }_{\mathcal{Z}}\mathcal{Q}(\mathcal{Z})\cdot \log \left[\frac{P(\mathcal{X},\mathcal{Z})}{\mathcal{Q}(\mathcal{Z})}\right]d\mathcal{Z} \\ \mathcal{Q}(\mathcal{Z})=\mathcal{J}({\mathcal{Q}}_1,\cdots ,{\hat{\mathcal{Q}}}_j,\cdots ,{\mathcal{Q}}_{\mathcal{M}}) \end{gathered}$$

它们之间的核心区别更在于对于问题的理解角度不同：

• 广义EM算法的核心依然是 频率学派角度的求解逻辑——求解概率模型$P(\mathcal{X}\mid \theta )$中的最优参数$\hat{\theta }$。它的底层逻辑依然是 极大似然估计(Maximum Likelihood Estimate,MLE)；
• 相比于广义EM算法，基于平均场假设的变分推断的核心是 贝叶斯学派角度的求解逻辑：针对$P(\mathcal{X})$积分难的问题：
  $$\begin{array}{rl}P(\mathcal{X})& ={\int }_{\mathcal{Z}}P(\mathcal{X},\mathcal{Z})d\mathcal{Z}\\ & ={\int }_{\mathcal{Z}}P(\mathcal{X}\mid \mathcal{Z})\cdot P(\mathcal{Z})d\mathcal{Z}\end{array}$$
  通过对$P(\theta \mid \mathcal{X})$采用近似手段，将关于参数的后验求解出来。换句话说，对于参数结果$\theta$在贝叶斯学派角度中并不是不存在，而是贝叶斯学派角度并不关心$\theta$的具体值，而是关心$\theta$的后验分布。
  因此，在整个变分推断的推导过程中，我们总是有意地弱化模型参数$\theta$的作用，而更加关注后验概率本身。

相关参考：
机器学习-变分推断3（再回首）