充分统计量，因子分解定理与Rao-Blackwewll定理

充分统计量

充分统计量的一种定义是：数据为$X^n$，如果给定充分统计量的一组取值$T(X^n=x^n)=t$，能够使得数据的分布不依赖于参数$\theta$，则$T$是充分统计量。

粗略的说，如果已经知道$T(x^n)$就可以计算似然函数，则该统计量是充分的。

例子

$X=(X_1,X_2)\sim Bernoulli(p)$，充分统计量是$T=X_1+X_2$。原因是给定任意T的取值，都可以知道数据的分布，而不依赖于参数$p$。

$T=0$时，两个数据取0的概率为1，其他为0。$T=1$，时，两者取1另一个取0的概率各自为0.5，其他情况为0。当$T=2$时，两者取1的概率为1，其他情况为0。

倘若统计量$T=X_1$，则不是充分统计量。例如当$T=0$时，只知道$X_1$取1的概率为0，而$X_2$取1的概率是参数$p$。

因子分解定理

$T$是充分统计量当且仅当存在$g(t,\theta )$和$h(x)$使得:$$f(x^n;\theta )=g(t(x^n),\theta )h(x^n)$$.
将此定理应用于上面的例子，首先把似然函数写出来：
f ( X ; θ ) = f ( x 1 ; θ ) f ( x 2 ; θ ) = θ x 1 + x 2 ( 1 − θ ) 2 − x 1 − x 2

f(X;θ)​=f(x1​;θ)f(x2​;θ)=θx1​+x2​(1−θ)2−x1​−x2​​令统计量$T=X_1+X_2$，则成为$$f(X;\theta )={\theta }^t(1-\theta {)}^{2-t}$$此时，$g(t(x^n),\theta )={\theta }^t(1-\theta {)}^{2-t}$而$h(x)=1$。因此，$T$是充分统计量。

Rao-Blackwell定理

这个定理指出，一个估计应该依赖于充分统计量，否则从MSE的角度上可以被改进。

令$\hat{\theta }$为估计，$T$为充分统计量。定义估计
$${\theta }_{new}=E[\hat{\theta }|T]$$则对任意$\theta$，有$R(\theta ,{\theta }_n)\le R(\theta ,\hat{\theta })$.

应用于抛两枚硬币的问题，首先假设$\hat{\theta }=X_1$，$E[X_1]=p$是一个无偏估计。定义充分统计量$T=X_1+X_2$，则由Rao-Blackwell定理就可以得到：
θ n = E [ θ ^ ∣ T ] = 0 × P ( X = 0 ∣ T = t ) + 1 × P ( X = 1 ∣ T = t ) = P ( X 1 = 1 ∣ T = t ) = P ( X 1 = 1 , T = t ) P ( T = t ) = P ( X 1 = 1 , X 2 = t − 1 ) P ( T = t ) = P ( X 1 = 1 ) P ( X 2 = t − 1 ) P ( X 1 + X 2 = t ) = p ⋅ C 1 t − 1 p t − 1 ( 1 − p ) 1 − ( t − 1 ) C 2 t p t ( 1 − p ) 2 − t = C 1 t − 1 C 2 t = t 2 = X 1 + X 2 2

θn​​=E[θ^∣T]=0×P(X=0∣T=t)+1×P(X=1∣T=t)=P(X1​=1∣T=t)=P(T=t)P(X1​=1,T=t)​=P(T=t)P(X1​=1,X2​=t−1)​=P(X1​+X2​=t)P(X1​=1)P(X2​=t−1)​=C2t​pt(1−p)2−tp⋅C1t−1​pt−1(1−p)1−(t−1)​=C2t​C1t−1​​=2t​=2X1​+X2​​​得到了一个估计${\theta }_n=\frac{X_1+X_2}{2}$，其MSE会比$\hat{\theta }=X_1$更小。