高斯推断推导

设有一对服从多元正态分布的变量 $(\mathbf{x},\mathbf{y})$，可以写出他们的联合概率密度函数：

p ( x , y ) = N ( [ μ x μ y ] , [ Σ x x Σ x y Σ y x Σ y y ] ) p(\boldsymbol{x}, \boldsymbol{y})=\mathcal{N}\left(\left[

\right],\left[\right]\right) p(x,y)=N([μx​μy​​],[Σxx​Σyx​​Σxy​Σyy​​])

其中，${\mathbf{\Sigma }}_{yx}={\mathbf{\Sigma }}_{xy}^{\mathrm{T}}$。

由舒尔补有：

[ Σ x x Σ x y Σ y x Σ y y ] = [ 1 Σ x y Σ y y − 1 0 1 ] [ Σ x x − Σ x y Σ y y − 1 Σ y x 0 0 Σ y y ] [ 1 0 Σ y y − 1 Σ y x 1 ] \left[

\right]=\left[\right]\left[\right]\left[\right] [Σxx​Σyx​​Σxy​Σyy​​]=[10​Σxy​Σyy−1​1​][Σxx​−Σxy​Σyy−1​Σyx​0​0Σyy​​][1Σyy−1​Σyx​​01​]

对两边同时求逆有：

[ Σ x x Σ x y Σ y x Σ y y ] − 1 = [ 1 0 − Σ y y − 1 Σ y x 1 ] [ ( Σ x x − Σ x y Σ y y − 1 Σ y x ) − 1 0 0 Σ y y − 1 ] [ 1 − Σ x y Σ y y − 1 0 1 ] {\left[

\right]^{-1}= \left[\right]} \left[\right]\left[\right] [Σxx​Σyx​​Σxy​Σyy​​]−1=[1−Σyy−1​Σyx​​01​][(Σxx​−Σxy​Σyy−1​Σyx​)−10​0Σyy−1​​][10​−Σxy​Σyy−1​1​]

因此，联合概率密度函数 $p(\mathbf{x},\mathbf{y})$ 指数部分的二次项为：

( [ x y ] − [ μ x μ y ] ) T [ Σ x x Σ x y Σ y x Σ y y ] − 1 ( [ x y ] − [ μ x μ y ] ) = ( [ x y ] − [ μ x μ y ] ) T [ 1 0 − Σ y y − 1 Σ y x 1 ] [ ( Σ x x − Σ x y Σ y y − 1 Σ y x ) − 1 0 0 Σ y y − 1 ] × [ 1 − Σ x y Σ y y − 1 0 1 ] ( [ x y ] − [ μ x μ y ] ) = ( x − μ x − Σ x y Σ y y − 1 ( y − μ y ) ) T ( Σ x x − Σ x y Σ y y − 1 Σ y x ) − 1 × ( x − μ x − Σ x y Σ y y − 1 ( y − μ y ) ) + ( y − μ y ) T Σ y y − 1 ( y − μ y )

==​([xy​]−[μx​μy​​])T[Σxx​Σyx​​Σxy​Σyy​​]−1([xy​]−[μx​μy​​])([xy​]−[μx​μy​​])T[1−Σyy−1​Σyx​​01​][(Σxx​−Σxy​Σyy−1​Σyx​)−10​0Σyy−1​​]×[10​−Σxy​Σyy−1​1​]([xy​]−[μx​μy​​])(x−μx​−Σxy​Σyy−1​(y−μy​))T(Σxx​−Σxy​Σyy−1​Σyx​)−1×(x−μx​−Σxy​Σyy−1​(y−μy​))+(y−μy​)TΣyy−1​(y−μy​)​

很明显可以看出，这是两个二次项的和。

又由贝叶斯公式有：

$$p(\mathbf{x},\mathbf{y})=p(\mathbf{x}\mid \mathbf{y})p(\mathbf{y})$$

并且：

$$p(\mathbf{y})=\mathcal{N}\left({\mathbf{\mu }}_y,{\mathbf{\Sigma }}_{yy}\right)$$

因此，由幂运算中同底数幂相乘，底数不变、指数相加的性质，可以得到：

$$p(\mathbf{x}\mid \mathbf{y})=\mathcal{N}\left({\mathbf{\mu }}_x+{\mathbf{\Sigma }}_{xy}{\mathbf{\Sigma }}_{yy}^{-1}\left(\mathbf{y}-{\mathbf{\mu }}_y\right),{\mathbf{\Sigma }}_{xx}-{\mathbf{\Sigma }}_{xy}{\mathbf{\Sigma }}_{yy}^{-1}{\mathbf{\Sigma }}_{yx}\right)$$

这便是高斯推断中最重要的部分：从状态的先验概率分布出发，然后基于一些观测值来缩小这个范围。