机器学习笔记之高斯分布(五)推断任务之边缘概率分布与条件概率分布

引言

上一节介绍了高斯分布概率模型相关的推断问题，并详细介绍了给定联合概率分布求解条件概率分布。本节将继续介绍推断任务——基于随机变量之间存在线性关系的条件下，求解条件概率与边缘概率。

回顾：

卡尔曼滤波

卡尔曼滤波(Kalman Filter)本身是线性高斯动态模型(Linear Gaussian Dynamic Model)的代表，它的性质表示在如下过程：

• 状态转移概率$\mathcal{P}(i_t\mid i_{t-1})$：
  需要注意的点：卡尔曼滤波是‘动态模型’的一种表达，它依然受到‘齐次马尔可夫假设’的约束。
  以一阶齐次马尔可夫假设为例，线性高斯动态模型中的相邻隐变量之间存在线性关系，并且对应噪声$ϵ$服从高斯分布：
  $$i_t=\mathcal{A}\cdot i_{t-1}+\mathcal{B}+ϵϵ\sim \mathcal{N}(0,\mathcal{Q})$$
  对应概率分布表示如下：
  这种表示方法需要注意。它写的是$\mathcal{N}(\mathcal{A}\cdot i_{t-1}+\mathcal{B},\mathcal{Q})$而不是$\mathcal{A}\mu +\mathcal{B}$。因为$\mathcal{N}(\mathcal{A}\mu +\mathcal{B},\mathcal{A}\mathcal{Q}{\mathcal{A}}^T)$表示$i_t$的边缘概率分布。并且，这种写法意味着$i_{t-1}$是已知的，可观测的。
  { P ( i t − 1 ) ∼ N ( μ , Q ) P ( i t ∣ i t − 1 ) ∼ N ( A ⋅ i t − 1 + B , Q ) {P(it−1)∼N(μ,Q)P(it∣it−1)∼N(A⋅it−1+B,Q)

  {P(it−1​)∼N(μ,Q)P(it​∣it−1​)∼N(A⋅it−1​+B,Q)​
  这个式子表示的是关于随机变量自身的线性关系还是期望的线性关系？使用例子描述一下：
  • 已知一个二维高斯分布，它各维度服从的高斯分布如下：
    $$x_1\sim \mathcal{N}(0,1)x_2\sim \mathcal{N}(0,1.5)$$
    对应图像表示如下：
    
  • 定义一个线性关系：$\mathcal{Y}=2\mathcal{X}+2$，上述样本点在线性计算之后的分布表示如下(橙色样本点)：
    
    注意，这里仅对原始的样本结果(蓝色样本点)进行线性计算，没有添加其他噪声。从图像中明显观察到：均值已经发生了变化(两团样本的密集区域没有重合在一起)。
    均值由0变成了 2x0+2=2。
    因此，$\mathcal{P}(i_t\mid i_{t-1})\sim \mathcal{N}(\mathcal{A}\cdot i_{t-1}+\mathcal{B},\mathcal{Q})$既表示随机变量的线性关系，也表示期望的线性关系。
    需要再次强调，$\mathcal{P}(i_t),\mathcal{P}(i_t\mid i_{t-1})$它们两个代表不同的高斯分布。而$\mathcal{A}\mathcal{Q}{\mathcal{A}}^T$是‘基于’$i_t=\mathcal{A}\cdot i_{t-1}+\mathcal{B}$线性计算的关于$i_t$的边缘概率分布$\mathcal{P}(i_t)$的协方差结果。

• 发射概率$\mathcal{P}(o_t\mid i_t)$
  隐变量与对应时刻观测变量之间存在线性关系，斌且噪声服从高斯分布：
  { o t = C ⋅ i t + D + δ δ ∼ N ( 0 , R ) P ( o t ∣ i t ) ∼ N ( C ⋅ i t + D , R ) {ot=C⋅it+D+δδ∼N(0,R)P(ot∣it)∼N(C⋅it+D,R)

  {ot​=C⋅it​+D+δδ∼N(0,R)P(ot​∣it​)∼N(C⋅it​+D,R)​

高斯分布与线性计算的相关定理

当某随机变量$\mathcal{X}$服从高斯分布，并且随机变量$\mathcal{Y}$与随机变量$\mathcal{X}$之间存在线性关系时：
{ X ∼ N ( μ , Σ ) Y = A X + B {X∼N(μ,Σ)Y=AX+B

{X∼N(μ,Σ)Y=AX+B​
那么随机变量$\mathcal{Y}$同样服从高斯分布：
需要注意这里的表示，随机变量$\mathcal{Y}$的概率分布服从高斯分布，这里的‘概率分布’仅仅是$\mathcal{Y}$自身的分布，可以理解为‘边缘概率分布’。
$$\mathcal{Y}\sim \mathcal{N}(\mathcal{A}\mu +\mathcal{B},\mathcal{A}\Sigma {\mathcal{A}}^T)$$
这同样引出期望、协方差在线性计算中的表达：
$$\{\begin{array}{l}\begin{array}{rl}{\mathbb{E}}_{\mathcal{P}(\mathcal{Y})}& ={\mathbb{E}}_{\mathcal{P}(\mathcal{X})}[\mathcal{A}\mathcal{X}+\mathcal{B}]\\ & =\mathcal{A}\cdot {\mathbb{E}}_{\mathcal{P}(\mathcal{X})}[\mathcal{X}]+\mathcal{B}\\ & =\mathcal{A}\mu +\mathcal{B}\end{array}\\ \begin{array}{rl}\text{Var}(\mathcal{Y})& =\text{Var}(\mathcal{A}\mathcal{X}+\mathcal{B})\\ & =\text{Var}(\mathcal{A}\mathcal{X})+\text{Var}(\mathcal{B})\\ & =\text{Var}(\mathcal{A}\mathcal{X})\\ & =\mathcal{A}\Sigma {\mathcal{A}}^T\end{array}\end{array}$$

任务目标与推导过程

任务目标

给定随机变量$\mathcal{X}$的概率分布结果与随机变量$\mathcal{Y}$基于$\mathcal{X}$的概率分布结果：
其中$\Lambda ,\mathcal{L}$分别表示$\mathcal{P}(\mathcal{X}),\mathcal{P}(\mathcal{Y}\mid \mathcal{X})$概率分布的精度矩阵(Precision Matrix)。它本身表示‘协方差矩阵’的逆矩阵。在高斯图模型中对非零边进行编码。
这里仅需要知道$\mathcal{P}(\mathcal{X}),\mathcal{P}(\mathcal{Y}\mid \mathcal{X})$的协方差矩阵使用精度矩阵表示，并且${\Lambda }^{-1},{\mathcal{L}}^{-1}$之间不存在关联即可。在后续的‘高斯网络’中可能会介绍到。
P ( X ) ∼ N ( μ , Λ − 1 ) P ( Y ∣ X ) ∼ N ( A X + B , L − 1 ) P(X)∼N(μ,Λ−1)P(Y∣X)∼N(AX+B,L−1)

P(X)P(Y∣X)​∼N(μ,Λ−1)∼N(AX+B,L−1)​
基于上述条件，求解随机变量$\mathcal{Y}$的边缘概率分布$\mathcal{P}(\mathcal{Y})$与条件概率分布$\mathcal{P}(\mathcal{X}\mid \mathcal{Y})$。

求解边缘概率分布

根据上述条件以及回顾中提到的 线性高斯模型中随机变量之间的关联关系，随机变量$\mathcal{X},\mathcal{Y}$之间关联关系表示如下：
其中这里的$ϵ$表示噪声的分布。
$$\mathcal{Y}=\mathcal{A}\mathcal{X}+\mathcal{B}+ϵϵ\sim \mathcal{N}(0,{\mathcal{L}}^{-1})$$
因此随机变量$\mathcal{Y}$的期望结果表示如下：
E P ( Y ) [ Y ] = E P ( X ) [ A X + B + ϵ ] = E P ( X ) [ A X + B ] + E [ ϵ ] ⏟ 0 = A μ + B EP(Y)[Y]=EP(X)[AX+B+ϵ]=EP(X)[AX+B]+E[ϵ]⏟0=Aμ+B

EP(Y)​[Y]​=EP(X)​[AX+B+ϵ]=EP(X)​[AX+B]+0 E[ϵ]​​=Aμ+B​
随机变量$\mathcal{Y}$的协方差结果表示如下：
$$\begin{array}{rl}\text{Var}(\mathcal{Y})& =\text{Var}(\mathcal{A}\mathcal{X}+\mathcal{B}+ϵ)\\ & =\text{Var}(\mathcal{A}\mathcal{X}+\mathcal{B})+\text{Var}(ϵ)\\ & =\mathcal{A}{\Lambda }^{-1}{\mathcal{A}}^T+{\mathcal{L}}^{-1}\end{array}$$
至此，随机变量$\mathcal{Y}$的边缘概率分布$\mathcal{P}(\mathcal{Y})$服从如下分布：
$$\mathcal{P}(\mathcal{Y})\sim \mathcal{N}(\mathcal{A}\mu +\mathcal{B},\mathcal{A}{\Lambda }^{-1}{\mathcal{A}}^T+{\mathcal{L}}^{-1})$$

求解条件概率分布

不同上一节中给定联合概率分布，求解条件概率分布，此时给定的是$\mathcal{P}(\mathcal{Y}\mid \mathcal{X}),\mathcal{P}(\mathcal{X})$，求解$\mathcal{P}(\mathcal{X}\mid \mathcal{Y})$。
由于边缘概率分布$\mathcal{P}(\mathcal{Y})$已经求出，至此定义一个$\mathcal{Z}$向量将随机变量$\mathcal{X},\mathcal{Y}$组合成一个向量：
$$\mathcal{Z}=(\mathcal{X},\mathcal{Y}{)}^T$$
因此，$\mathcal{Z}$的概率分布表示如下：
直接可以将$\mathcal{Z}$的概率分布看成‘联合概率分布’。
Z = ( X Y ) ∼ N ( [ μ A ⋅ μ + B ] , [ Λ − 1 , Δ Δ T , L − 1 + A Λ − 1 A T ] ) \mathcal Z = (XY)

\sim \mathcal N\left([μA⋅μ+B], [Λ−1,ΔΔT,L−1+AΛ−1AT]\right) Z=(XY​)∼N([μA⋅μ+B​],[Λ−1,ΔΔT,L−1+AΛ−1AT​])
对于这个联合概率分布，期望部分全部是已知的，协方差部分中的$Cov(\mathcal{X},\mathcal{Y}),Cov(\mathcal{Y},\mathcal{X})$部分是未知的($\Delta$表示)。当然，只要求解出一个，另一个自然也就求解出来(转置关系)。

• 根据协方差的定义，$Cov(\mathcal{X},\mathcal{Y})$表示如下：
  为什么要加转置：$\mathcal{X},\mathcal{Y}$可能并不是‘相同大小’的随机变量集合，不加转置无法执行乘法运算。
  $$\begin{array}{r}\Delta =Cov(\mathcal{X},\mathcal{Y})=\mathbb{E}\left[(\mathcal{X}-\mathbb{E}[\mathcal{X}])(\mathcal{Y}-\mathbb{E}[\mathcal{Y}]{)}^T\right]\end{array}$$
• 将$\mathbb{E}[\mathcal{X}]=\mu ,\mathbb{E}[\mathcal{Y}]=\mathcal{A}\mu +\mathcal{B},\mathcal{Y}=\mathcal{A}\mathcal{X}+\mathcal{B}+ϵ$分别代入上式：
  矩阵的乘法分配律~
  $$\begin{array}{rl}\Delta & =\mathbb{E}[(\mathcal{X}-\mu )(\mathcal{A}\mathcal{X}+\mathcal{B}+ϵ-\mathcal{A}\mu -\mathcal{B}{)}^T]\\ & =\mathbb{E}\left\{(\mathcal{X}-\mu ){\left[\mathcal{A}\mathcal{X}-\mathcal{A}\mu +ϵ\right]}^T\right\}\\ & =\mathbb{E}[(\mathcal{X}-\mu )(\mathcal{A}\mathcal{X}-\mathcal{A}\mu {)}^T]+\mathbb{E}[(\mathcal{X}-\mu ){ϵ}^T]\end{array}$$
  观察第二项：$\mathbb{E}[(x-\mu ){ϵ}^T]$，展开有：
  $ϵ\sim \mathcal{N}(0,{\mathcal{L}}^{-1})$，因此有$\mathbb{E}[{ϵ}^T]=0$
  $$\begin{array}{rl}\mathbb{E}[(x-\mu ){ϵ}^T]& =(\mathcal{X}-\mu )\mathbb{E}({ϵ}^T)=(\mathcal{X}-\mu )\times 0=0\end{array}$$
• 因此，原式$\Delta =\mathbb{E}[(\mathcal{X}-\mu )(\mathcal{A}\mathcal{X}-\mathcal{A}\mu {)}^T]$，提出公因式$\mathcal{A}$，展开如下：
  $\mathcal{A}$是线性计算中的系数，是常数。
  $$\begin{array}{rl}\Delta & =\mathbb{E}\left\{(\mathcal{X}-\mu ){\left[\mathcal{A}(\mathcal{X}-\mu )\right]}^T\right\}\\ & =\mathbb{E}\left[(\mathcal{X}-\mu )(\mathcal{X}-\mu {)}^T{\mathcal{A}}^T\right]\\ & =\mathbb{E}[(\mathcal{X}-\mu )(\mathcal{X}-\mu {)}^T]{\mathcal{A}}^T\end{array}$$
• 其中$\mathbb{E}[(\mathcal{X}-\mu )(\mathcal{X}-\mu {)}^T]$就是随机变量$\mathcal{X}$的协方差矩阵$\text{Var}(\mathcal{X})$。至此，的$Cov(\mathcal{X},\mathcal{Y})$的最终表示结果为：
  $$\begin{array}{rl}Cov(\mathcal{X},\mathcal{Y})& =\text{Var}(\mathcal{X})\cdot {\mathcal{A}}^T\\ & ={\Lambda }^{-1}{\mathcal{A}}^T\end{array}$$

同理，$Cov(\mathcal{Y},\mathcal{X})={\left({\Lambda }^{-1}{\mathcal{A}}^T\right)}^T=\mathcal{A}({\Lambda }^{-1}{)}^T$。将$Cov(\mathcal{X},\mathcal{Y}),Cov(\mathcal{Y},\mathcal{X})$带入，至此，$\mathcal{Z}$的概率分布完整表示如下：
Z ∼ N ( [ μ A ⋅ μ + B ] , [ Λ − 1 , Λ − 1 A T A Λ − 1 , L − 1 + A Λ − 1 A T ] ) \mathcal Z \sim \mathcal N\left([μA⋅μ+B]

, [Λ−1,Λ−1ATAΛ−1,L−1+AΛ−1AT]\right) Z∼N([μA⋅μ+B​],[Λ−1,Λ−1ATAΛ−1,L−1+AΛ−1AT​])
此时，关于$\mathcal{X},\mathcal{Y}$的联合概率分布已经求解，可以使用上一节的联合概率分布求解方式进行求解：
直接将结论抄过来啦~，有需要的去看一眼~，但是需要注意的是，由于上一节求解的是$\mathcal{P}(\mathcal{Y}\mid \mathcal{X})$，本节求解的是$\mathcal{P}(\mathcal{X}\mid \mathcal{Y})$,需要将所有的$a,b$下标调换过来。
$$\begin{array}{rl}\mathcal{P}(\mathcal{X}\mid \mathcal{Y})& \sim \mathcal{N}({\mu }_{a.b}+{\Sigma }_{ab}{\Sigma }_{bb}^{-1}{\mathcal{X}}_b,{\Sigma }_{aa.b})\\ & =\mathcal{N}({\mu }_a+{\Sigma }_{ab}{\Sigma }_{bb}^{-1}({\mathcal{X}}_b-{\mu }_b),{\Sigma }_{aa}-{\Sigma }_{ab}{\Sigma }_{bb}^{-1}{\Sigma }_{ba})\end{array}$$
将上述对应的量代入：
${\Sigma }_{ba}\to$正定矩阵的性质:正定矩阵的转置等于本身。
$$\{\begin{array}{l}{\mathcal{X}}_b\to \mathcal{Y}\\ {\mu }_a\to \mathbb{E}[\mathcal{X}]=\mu \\ {\mu }_b\to \mathbb{E}[\mathcal{Y}]=\mathcal{A}\mu +\mathcal{B}\\ {\Sigma }_{aa}\to {\Lambda }^{-1}\\ {\Sigma }_{bb}\to {\mathcal{L}}^{-1}+\mathcal{A}{\Lambda }^{-1}{\mathcal{A}}^T\\ {\Sigma }_{ab}\to {\Lambda }^{-1}{\mathcal{A}}^T\\ {\Sigma }_{ba}\to \mathcal{A}({\Lambda }^{-1}{)}^T=\mathcal{A}{\Lambda }^{-1}\end{array}$$
最终有：
P ( X ∣ Y ) ∼ N ( Σ { A T L ( y − B ) + A μ } , Σ ) Σ = Λ + A T L A − 1 \mathcal P(\mathcal X \mid \mathcal Y) \sim \mathcal N(\Sigma \{\mathcal A^T \mathcal L(y-\mathcal B) + \mathcal A \mu\},\Sigma) \quad \Sigma = \Lambda + \mathcal A^T \mathcal L\mathcal A^{-1} P(X∣Y)∼N(Σ{ATL(y−B)+Aμ},Σ)Σ=Λ+ATLA−1
至此，高斯分布部分介绍完毕。下一节将介绍高斯网络(Gaussian Network)

相关参考：
概率图模型(四)：经典概率图模型
【PRML】高斯分布
机器学习-数学基础-概率-高斯分布6-已知边缘和条件概率求解联合概率分布