机器学习笔记之高斯过程(四)高斯过程回归——基于函数空间角度的预测任务求解

引言

上一节介绍了高斯过程回归从权重空间(Weight-Space)视角向函数空间(Function-Space)视角的转化过程。本节将介绍基于函数空间视角，对预测任务(Prediction)进行求解。

回顾：基于函数空间视角的表达

场景构建

给定数据集合 D a t a = { ( x ( i ) , y ( i ) ) } i = 1 N Data = \{(x^{(i)},y^{(i)})\}_{i=1}^N Data={(x(i),y(i))}i=1N​，其中样本集合$\mathcal{X}$，标签集合$\mathcal{Y}$表示如下：
X = ( x ( 1 ) , x ( 2 ) , ⋯   , x ( N ) ) N × p T x ( i ) ∈ R p ; i = 1 , ⋯   , N Y = ( y ( 1 ) , y ( 2 ) , ⋯   , y ( N ) ) N × 1 T y ( i ) ∈ R ; i = 1 , 2 , ⋯   , N X=(x(1),x(2),⋯,x(N))TN×px(i)∈Rp;i=1,⋯,NY=(y(1),y(2),⋯,y(N))TN×1y(i)∈R;i=1,2,⋯,N

XY​=(x(1),x(2),⋯,x(N))N×pT​x(i)∈Rp;i=1,⋯,N=(y(1),y(2),⋯,y(N))N×1T​y(i)∈R;i=1,2,⋯,N​
具体任务是非线性回归，需要将样本的特征空间由当前的低维空间$p$通过非线性转换转移至高维空间$q(q\gg p)$：
$$\mathcal{X}\in {\mathbb{R}}^p\to \varphi (\mathcal{X})\in {\mathcal{R}}^q$$

权重空间视角(Weight-Space)观察预测任务

权重空间视角的本质是模型学习模型参数$\mathcal{W}$本身，基于$\mathcal{W}$的后验概率分布$\mathcal{P}(\mathcal{W}\mid Data)$来求解给定未知样本$\hat{x}$的预测标签结果$\hat{y}$：
具体推导过程详见贝叶斯线性回归——推断任务推导过程
P ( W ∣ D a t a ) ∝ P ( Y ∣ W , X ) ⋅ P ( W ) P ( W ∣ D a t a ) ∼ N ( μ W , Σ W ) { μ W = A − 1 X T Y σ 2 Σ W = A − 1 A = X T X σ 2 + [ Σ p r i o r − 1 ] p × p P(W∣Data)∝P(Y∣W,X)⋅P(W)P(W∣Data)∼N(μW,ΣW){μW=A−1XTYσ2ΣW=A−1A=XTXσ2+[Σ−1prior]p×p

P(W∣Data)∝P(Y∣W,X)⋅P(W)P(W∣Data)∼N(μW​,ΣW​)⎩⎪⎨⎪⎧​μW​=σ2A−1XTY​ΣW​=A−1A=σ2XTX​+[Σprior−1​]p×p​​​

• 其中${\sigma }^2$表示线性模型$\mathcal{Y}={\mathcal{W}}^T\mathcal{X}+ϵϵ\sim \mathcal{N}(0,{\sigma }^2)$中高斯噪声$ϵ$的方差(一维随机变量)；
• ${\Sigma }_{prior}$表示$\mathcal{W}$的先验概率分布$\mathcal{P}(\mathcal{W})\sim \mathcal{N}(0,{\Sigma }_{prior})$的协方差矩阵。

此时，如果针对非线性回归任务，基于$\mathcal{X}\to \varphi (\mathcal{X})$，对应的后验概率分布跟着发生变化：
注意的点：先验分布的协方差矩阵${\Sigma }_{prior}$也跟着变化为$q\times q$.
P ( W ∣ D a t a ) ∼ N ( μ W , Σ W ) { μ W = A − 1 [ ϕ ( X ) ] T ⋅ Y σ 2 Σ W = A − 1 A = [ ϕ ( X ) ] T ϕ ( X ) σ 2 + [ Σ p r i o r ] q × q \mathcal P(\mathcal W \mid Data) \sim \mathcal N(\mu_{\mathcal W},\Sigma_{\mathcal W}) \quad {μW=A−1[ϕ(X)]T⋅Yσ2ΣW=A−1A=[ϕ(X)]Tϕ(X)σ2+[Σprior]q×q

P(W∣Data)∼N(μW​,ΣW​)⎩⎪⎨⎪⎧​μW​=σ2A−1[ϕ(X)]T⋅Y​ΣW​=A−1A=σ2[ϕ(X)]Tϕ(X)​+[Σprior​]q×q​​
当后验概率分布$\mathcal{P}(\mathcal{W}\mid Data)$求解结束后，对给定未知样本$\hat{x}$进行预测：
该公式相关参考：高斯分布相关定理
$$\begin{array}{rl}\mathcal{P}(\hat{y}\mid \hat{x},Data)& ={\int }_{\mathcal{W}\mid Data}\mathcal{P}(\hat{y}\mid \mathcal{W},\hat{x})\cdot \mathcal{P}(\mathcal{W}\mid Data)d\mathcal{W}\\ & =\mathcal{N}([\varphi (\hat{x}){]}^T\mathcal{W},{\sigma }^2)\cdot \mathcal{N}({\mu }_{\mathcal{W}},{\Sigma }_{\mathcal{W}})\\ & \sim \mathcal{N}\left[[\varphi (\hat{x}){]}^T{\mu }_{\mathcal{W}},[\varphi (\hat{x}){]}^T\cdot {\Sigma }_{\mathcal{W}}\cdot \varphi (\hat{x})+{\sigma }^2\right]\\ & =\mathcal{N}\left[[\varphi (\hat{x}){]}^T\left(\frac{{\mathcal{A}}^{-1}[\varphi (\mathcal{X}){]}^T\mathcal{Y}}{{\sigma }^2}\right),[\varphi (\hat{x}){]}^T{\mathcal{A}}^{-1}\cdot \varphi (\hat{x})+{\sigma }^2\right]\end{array}$$

从权重空间视角(Weight-Space)到函数空间视角(Function-Space)的过渡

首先，引入非线性转换函数$\varphi (\cdot )$本身求解是非常复杂的，并且上述公式中的$\varphi (\cdot )$均以内积的形式出现。因而尝试找到一款函数，使其 直接表示$\varphi (\cdot )$的内积结果，从而减少大量运算：
$$\mathcal{K}(x^{(i)},x^{(j)})=[\varphi (x^{(i)}){]}^T{\Sigma }_{prior}\varphi (x^{(j)})$$
并且$\mathcal{K}(x^{(i)},x^{(j)})$是核函数(Kernal Function)。从函数空间视角观察，可以将核函数表示为如下形式：

• 关于$\mathcal{K}(x^{(i)},x^{(j)})$是核函数的充分性证明见高斯过程回归——权重空间角度、必要性证明见高斯过程回归——函数空间角度
• $\mathbb{E}[f(x^{(i)})],\mathbb{E}[f(x^{(j)})]=0$是因为$f(x^{(i)})=[x^{(i)}{]}^T\mathcal{W}+ϵ$,因而$f(x^{(i)})\sim \mathcal{N}([x^{(i)}{]}^T\mathcal{W}+0,{\sigma }^2)$

K ( x ( i ) , x ( j ) ) = [ ϕ ( x ( i ) ) ] T ⋅ E [ W ⋅ W T ] ⋅ ϕ ( x ( j ) ) = E { [ ϕ ( x ( i ) ) ] T W ⋅ [ ϕ ( x ( j ) ) ] T W } = E { [ f ( x ( i ) ) − E [ f ( x ( i ) ) ] ] ⋅ [ f ( x ( j ) ) − E [ f ( x ( j ) ) ] ] } = C o v [ f ( x ( i ) ) , f ( x ( j ) ) ] K(x(i),x(j))=[ϕ(x(i))]T⋅E[W⋅WT]⋅ϕ(x(j))=E{[ϕ(x(i))]TW⋅[ϕ(x(j))]TW}=E{[f(x(i))−E[f(x(i))]]⋅[f(x(j))−E[f(x(j))]]}=Cov[f(x(i)),f(x(j))]

K(x(i),x(j))​=[ϕ(x(i))]T⋅E[W⋅WT]⋅ϕ(x(j))=E{[ϕ(x(i))]TW⋅[ϕ(x(j))]TW}=E{[f(x(i))−E[f(x(i))]]⋅[f(x(j))−E[f(x(j))]]}=Cov[f(x(i)),f(x(j))]​
发现，核函数$\mathcal{K}(x^{(i)},x^{(j)})$是$f(x^{(i)}),f(x^{(j)})$的协方差结果。因此一个想法是：直接将$f(x)$看作随机变量，用$f(x)$来表示后验概率分布和预测分布。
但$f(x)$并不是一个随机变量，而是基于$p$维实数域的随机变量集合：
$$f(x^{(i)})={\mathcal{W}}^T\varphi (x^{(i)})=[\varphi (x^{(i)}){]}^T\mathcal{W}{x}^{(i)}\in \mathcal{X}$$
因而基于$f(x)$的预测任务表达式如下：
$$\mathcal{P}(\hat{y}\mid Data,\hat{x})={\int }_{f(\mathcal{X})}\mathcal{P}(\hat{y}\mid f(\mathcal{X}),\hat{x})\cdot \mathcal{P}[f(\mathcal{X})\mid Data]df(\mathcal{X})$$

基于函数空间角度的预测任务求解

随机变量集合$f(\mathcal{X})$是一个高斯过程，并且它服从高斯分布：
{ f ( X ) } X ∈ R p ∼ N [ μ ( X ) , K ( X , X ) ] \{f(\mathcal X)\}_{\mathcal X \in \mathbb R^p} \sim \mathcal N [\mu(\mathcal X),\mathcal K(\mathcal X,\mathcal X)] {f(X)}X∈Rp​∼N[μ(X),K(X,X)]
其中$m(\mathcal{X})$表示均值函数(Mean-Function)，$\mathcal{K}(\mathcal{X},\mathcal{X})$并非表示某一项，而是整个核矩阵(Kernal Matrix)：
K ( X , X ) = [ K ( x ( 1 ) , x ( 1 ) ) , K ( x ( 1 ) , x ( 2 ) ) , ⋯   , K ( x ( 1 ) , x ( N ) ) K ( x ( 2 ) , x ( 1 ) ) , K ( x ( 2 ) , x ( 2 ) ) , ⋯   , K ( x ( 2 ) , x ( N ) ) ⋮ K ( x ( N ) , x ( 1 ) ) , K ( x ( N ) , x ( 2 ) ) , ⋯   , K ( x ( N ) , x ( N ) ) ] N × N \mathcal K(\mathcal X,\mathcal X) = [K(x(1),x(1)),K(x(1),x(2)),⋯,K(x(1),x(N))K(x(2),x(1)),K(x(2),x(2)),⋯,K(x(2),x(N))⋮K(x(N),x(1)),K(x(N),x(2)),⋯,K(x(N),x(N))]

_{N \times N} K(X,X)=⎣⎢⎢⎢⎡​K(x(1),x(1)),K(x(1),x(2)),⋯,K(x(1),x(N))K(x(2),x(1)),K(x(2),x(2)),⋯,K(x(2),x(N))⋮K(x(N),x(1)),K(x(N),x(2)),⋯,K(x(N),x(N))​⎦⎥⎥⎥⎤​N×N​
因而对应标签向量$\mathcal{Y}$表示如下：
$$\mathcal{Y}=f(\mathcal{X})+ϵ\sim \mathcal{N}[\mu (\mathcal{X}),\mathcal{K}(\mathcal{X},\mathcal{X})+{\sigma }^2{\mathcal{I}}_{N\times N}]$$

此时，已知一个新样本集合${\mathcal{X}}_{\ast }=(x_{\ast }^{(1)},x_{\ast }^{(2)},\cdots ,x_{\ast }^{(\mathcal{M})}{)}_{\mathcal{M}\times p}^T$，那么预测标签${\mathcal{Y}}_{\ast }=f({\mathcal{X}}_{\ast })+ϵ$。首先，针对标签集合$\mathcal{Y}$与无高斯噪声结果$f({\mathcal{X}}_{\ast })$的联合概率分布$\mathcal{P}\left[f({\mathcal{X}}_{\ast }),\mathcal{Y}\mid \mathcal{X},{\mathcal{X}}_{\ast }\right]$表示如下：
[ Y f ( X ∗ ) ] ( N + M ) × 1 ∼ N { [ μ ( X ) μ ( X ∗ ) ] , [ K ( X , X ) + σ 2 I N × N , K ( X , X ∗ ) N × M K ( X ∗ , X ) M × N K ( X ∗ , X ∗ ) M × M ] ( N + M ) × ( N + M ) } [Yf(X∗)]

_{(N+\mathcal M) \times 1} \sim \mathcal N \left\{[μ(X)μ(X∗)],[K(X,X)+σ2IN×N,K(X,X∗)N×MK(X∗,X)M×NK(X∗,X∗)M×M]_{(N+\mathcal M) \times (N+\mathcal M)}\right\} ⎣⎡​Yf(X∗​)​⎦⎤​(N+M)×1​∼N⎩⎪⎨⎪⎧​⎣⎡​μ(X)μ(X∗​)​⎦⎤​,⎣⎡​K(X,X)+σ2IN×N​,K(X,X∗​)N×M​K(X∗​,X)M×N​K(X∗​,X∗​)M×M​​⎦⎤​(N+M)×(N+M)​⎭⎪⎬⎪⎫​

此时就变成了已知联合概率分布，求解条件概率分布$\mathcal{P}\left[f({\mathcal{X}}_{\ast })\mid Data,{\mathcal{X}}_{\ast }\right]=\mathcal{P}\left[f({\mathcal{X}}_{\ast })\mid \mathcal{Y},\mathcal{X},{\mathcal{X}}_{\ast }\right]$的形式。
这里用到了基于高斯分布的推断任务——已知联合概率分布求解条件概率分布的相关内容，这里就不推导了。

假设条件概率分布的高斯分布形式为：$\mathcal{P}\left[f({\mathcal{X}}_{\ast })\mid \mathcal{Y},\mathcal{X},{\mathcal{X}}_{\ast }\right]\sim N({\mu }^{\ast },{\Sigma }^{\ast })$，那么${\mu }^{\ast },{\Sigma }^{\ast }$分别表示如下：
{ μ ∗ = K ( X ∗ , X ) ⋅ [ K ( X , X ) + σ 2 I ] − 1 [ Y − μ ( X ) ] + μ ( X ∗ ) Σ ∗ = K ( X ∗ , X ∗ ) − K ( X ∗ , X ) [ K ( X , X ) + σ 2 I ] − 1 K ( X , X ∗ ) {μ∗=K(X∗,X)⋅[K(X,X)+σ2I]−1[Y−μ(X)]+μ(X∗)Σ∗=K(X∗,X∗)−K(X∗,X)[K(X,X)+σ2I]−1K(X,X∗)

{μ∗=K(X∗​,X)⋅[K(X,X)+σ2I]−1[Y−μ(X)]+μ(X∗​)Σ∗=K(X∗​,X∗​)−K(X∗​,X)[K(X,X)+σ2I]−1K(X,X∗​)​

此时$f({\mathcal{X}}_{\ast })$的条件/后验概率分布已经求解，但此时是无高斯噪声状态，需要将高斯噪声加回去。那么关于${\mathcal{Y}}_{\ast }$的后验$\mathcal{P}({\mathcal{Y}}_{\ast }\mid Data,{\mathcal{X}}_{\ast })$可表示为：
Y ∗ = f ( X ∗ ) + ϵ P ( Y ∗ ∣ D a t a , X ∗ ) ∼ N ( μ Y ∗ , Σ Y ∗ ) { μ Y ∗ = μ ∗ + 0 = μ ∗ Σ Y ∗ = Σ ∗ + σ 2 I M × M Y∗=f(X∗)+ϵP(Y∗∣Data,X∗)∼N(μ∗Y,Σ∗Y){μ∗Y=μ∗+0=μ∗Σ∗Y=Σ∗+σ2IM×M

Y∗​P(Y∗​∣Data,X∗​)​=f(X∗​)+ϵ∼N(μY∗​,ΣY∗​){μY∗​=μ∗+0=μ∗ΣY∗​=Σ∗+σ2IM×M​​​

实际上，使用函数空间角度求解预测任务相比于权重空间角度求解要简单一些。由于将随机变量集合设定为高斯过程，自然不会受到$\varphi (\cdot )$的影响；并且它不需要求解模型参数$\mathcal{W}$的后验概率，只需要通过推断对预测任务进行处理即可。

至此，高斯过程部分介绍结束，在后续会将高斯过程与贝叶斯线性回归相关符号进行检查和修正。

相关参考：
机器学习-高斯过程回归-函数空间角度（Function-Space）