机器学习基础：统计量与抽样分布

机器学习必备基础知识，力求以最简洁的语言，描述最完整的内容。
很多知识没有深入剖析，也没必要深入剖析。大致了解知识框架之后，即可开始学习机器学习，有不懂的再回过头再仔细研究，驱动式学习才是最高效的学习。

统计量与抽样分布

概述

数理统计是对随机现象进行统计规律归纳，它与概率论在研究方法上恰好相反。具体而言，我们在概率论中总是假设一个随机变量的分布已知，而在现实里，我们可能很难知道一个随机事件服从的分布，或者知道了对应的分布，但不确定其中参数的取值。在这些场景中，我们需要用到数理统计的知识和方法。也就是说，进入了从理论到实际应用的阶段

比如说服装厂为了确定各种尺码的生产比例，调查人们身长的分布，从成年男性中随机抽取100人，得到他们的身长数据

1、通过身长数据推断男性成人身长$X$的概率密度——有数据，不知道分布

2、若已知$X$服从正态分布$N(\mu ,{\sigma }^2)$，要估计参数$\mu ,\sigma$的值 ——有数据有分布，不知道参数——参数统计

• 数理统计的内容大致分为两类：
  • 研究如何有效地收集随机数据
  • 研究如何有效地分析已获得的随机数据

总体与样本

总体

• 研究对象的全体称为总体（通常具体指研究对象的某项数量指标），总体中每一个成员称为个体
• 如果一个总体包含的个体有限，那么就称为有限总体；反之，称为无限总体
• 数理统计中，我们用随机变量$X$或分布函数$F(x)$描述一个总体（或者说，该总体的某种特征或数量指标；因为我们真正关心的并不是总体本身，而是其某一数字特征）

样本

• 为了对总体$X$进行研究，通常从总体中随机抽取一些个体，这些个体称为样本，这种随机抽得样本的过程称为随机抽样或简称为抽样。样本中个体的数量称为样本容量

• 假设对总体进行了$n$次观测，得到一组数据$(x_1,x_2,...,x_n)$，称为样本观测值或样本值，统计学的工作就是利用样本值来对总体分布中的未知成分进行推断。

  • 样本值具有二重性
    • 一次抽样获得的样本值$(x_1,x_2,...,x_n)$是一组完全确定的数值
    • 受各种随机因素的影响，不同抽样中获得的样本值可能会发生变化
  • 所以我们将样本看作一组随机变量$(X_1,X_2,...,X_n)$，具体某次观测时，获得其数值为$(x_1,x_2,...,x_n)$
  • 样本$(X_1,X_2,...X_n)$的所有可能取值的全体称为样本空间，记为$\Omega$，一个样本值就是其中的一个样本点

• 为了使样本能很好地反映总体的特征，对随机抽样提出如下两个要求：

  • 代表性：样本能够代表总体，也就是要样本的每个分量$X_i$和总体$X$具有相同分布
  • 独立性：样本的所有分量$X_i$相互独立
    • 满足上述两个要求的样本称为简单随机样本，也简称为样本

设总体的分布函数为$F(x)$，则

• 样本$(X_1,X_2,...,X_n)$的分布函数为
  $$F(x_1,x_2,...,x_n)=\prod _{i=1}^{n}F(x_i)$$

• 若总体是连续型随机变量，其概率密度函数为$p(x)$，则样本$(X_1,X_2,...,X_n)$的密度函数为
  $$p(x_1,x_2,...,x_n)=\prod _{i=1}^{n}p(x_i)$$

统计量与抽样分布

在获得样本之后，就要对总体的未知成分进行推断，这需要对样本进行加工整理，从中提取有用信息。而统计量是对样本中信息的提取和抽象，从数学角度来说，统计量是样本的函数。

• 统计量

  • 定义：若样本的函数$f(X_1,X_2,...X_n)$不含任何未知参数，则称其为一个统计量，称$f(x_1,x_2,...,x_n)$为统计量的一个观测值
  • 统计量中不含任何未知量，也就是说一旦有了样本，就可以计算出统计量。
  • 有定义可知，统计量是一个随机变量，完全由样本确定

常用统计量

设$(X_1,X_2,...X_n)$为总体$X$中抽取的一个样本

• 样本均值$\overline{X}=\frac{1}{n}{\sum }_{i=1}^n{X}_i$.
• 样本方差$S^2=\frac{1}{n-1}{\sum }_{i=1}^n(X_i-\overline{X}{)}^2=\frac{1}{n-1}({\sum }_{i=1}^n{X}_i^2-n{\overline{X}}^2)$
• 样本标准差$S=\sqrt{S^2}=\sqrt{\frac{1}{n-1}{\sum }_{i=1}^n(X_i-\overline{X}{)}^2}$
• 样本$k$阶原点矩$A_k=\frac{1}{n}{\sum }_{i=1}^n{X}_i^k$
• 样本$k$阶中心矩$B_k=\frac{1}{n}{\sum }_{i=1}^n(X_i-\overline{X}{)}^k$
• 经验分布函数 : 用$S(x)$表示样本$X_1,...,X_n$中不大于$x$的随机变量个数，定义经验分布函数为$F_n(x)=\frac{1}{n}S(x)$

上面提到，样本具有二重性，则统计量作为样本的函数 同样具有二重性。

• 具体观察时，统计量是具体的观测值

• 脱离具体观测时，统计量可以被看作随机变量

• 统计量的分布称为抽样分布。通常确定一个统计量的精确分布非常困难，只有在正态总体的情况下有比较好的结论

正态总体

首先将介绍数理统计学中的三大分布：${\chi }^2分布、t分布和F分布$

${\chi }^2$分布

• 设随机变量$X_1,X_2,...X_n$独立同分布且每个$X_i～N(0,1)$，则称随机变量
  $${\chi }^2=\sum _{i=1}^n{X}_i^2$$
  服从自由度为$n$的${\chi }^2$分布，记为${\chi }^2～{\chi }^2(n)$.

  这里的自由度是指和式中独立随机变量的个数，可以证明${\chi }^2(n)$的分布密度为
  p ( x ) = { 1 2 n 2 T ( n 2 ) x n 2 − 1 e − x 2 , x > 0 , 0 , x ≤ 0 , p(x)=

  {12n2\Tau(n2)xn2−1e−x2,x>0,0,x≤0," role="presentation">⎧⎩⎨12n2\Tau(n2)xn2−1e−x2,0,x>0,x≤0,$$\{\begin{array}{ll}\frac{1}{2^{\frac{n}{2}}\text{Tau}(\frac{n}{2})}{x}^{\frac{n}{2}-1}{e}^{-\frac{x}{2}},& x>0,\\ 0,& x\le 0,\end{array}$$
  p(x)={22n​T(2n​)1​x2n​−1e−2x​,0,​x>0,x≤0,​

• 分位点

  上$\alpha$分位点的定义：随机变量$X$，对给定的数$\alpha$，满足$P(X>{\lambda }_{\alpha })=\alpha$的实数${\lambda }_{\alpha }$为$X$的上$\alpha$分位点$({\lambda }_{\alpha }>0)$

  而当$X\sim {\chi }^2(n)$时，${\lambda }_{\alpha }$记为${\chi }_{\alpha }^2(n)$，也就是上图中阴影部分的横坐标左边界

  $P(X>{\lambda }_{\alpha })=\alpha$也就是上图中阴影部分面积为$\alpha$

• 性质

  • 分布可加性 若$X\sim {\chi }^2(n_1),Y\sim {\chi }^2(n_2)$，且$X,Y$独立，则$X+Y\sim {\chi }^2(n_1+n_2)$
  • 期望与方差 若$X\sim {\chi }^2(n)$，则$E(X)=n,D(X)=2n$

$t$分布

• 构造$X～N(0,1),Y～{\chi }^2(n))$，且$X$与$Y$相互独立，则称随机变量
  $$T=\frac{X}{\sqrt{Y/n}}$$
  服从自由度为$n$的$t$分布，记为$T～t(n)$.

• $t(n)$概率密度为
  $$p(x)=\frac{\mathrm{T}(\frac{n+1}{2})}{\sqrt{n\pi }\mathrm{T}(\frac{n}{2})}(1+\frac{x^2}{n}{)}^{-\frac{n+1}{2}}$$

• 基本性质

  • $p(x)$关于纵轴对称

  • $p(x)$的极限为$N(0,1)$的密度函数，即
    $$\underset{n\to \infty }{\lim }p(x)=\varphi (x)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{t^2}{2}},-\infty <x<+\infty$$

• $t$分布的上$\alpha$分位点记为$t_{\alpha }(n)$

  • 可以发现，$t_{1-\alpha }(n)=-t_{\alpha }(n)$

$F$分布

• 构造$X～{\chi }^2(n_1),Y{\chi }^2(n_2)$，且$X、Y$相互独立，则称随机变量
  $$F=\frac{X/n_1}{Y/n_2}$$
  服从自由度为$(n_1,n_2)$的$F$分布，记为$F～F(n_1,n_2)$，其中$n_1$称为第一自由度，$n_2$称为第二自由度。

• 概率密度
  p ( x ) = { T ( n 1 + n 2 2 ) T ( n 1 2 ) T ( n 2 2 ) ( n 1 n 2 ) n 1 2 x n 1 2 − 1 ( 1 + n 1 n 2 x ) − n 1 + n 2 2 , x > 0 0 , x ⩽ 0 p(x)=

  {\Tau(n1+n22)\Tau(n12)\Tau(n22)(n1n2)n12xn12−1(1+n1n2x)−n1+n22,x>00,x⩽0" role="presentation">⎧⎩⎨\Tau(n1+n22)\Tau(n12)\Tau(n22)(n1n2)n12xn12−1(1+n1n2x)−n1+n22,0,x>0x⩽0$$\{\begin{array}{ll}\frac{\text{Tau}(\frac{n_1+n_2}{2})}{\text{Tau}(\frac{n_1}{2})\text{Tau}(\frac{n_2}{2})}(\frac{n_1}{n_2}{)}^{\frac{n_1}{2}}{x}^{\frac{n_1}{2}-1}(1+\frac{n_1}{n_2}x{)}^{-\frac{n_1+n_2}{2}},& x>0\\ 0,& x⩽0\end{array}$$
  p(x)={T(2n1​​)T(2n2​​)T(2n1​+n2​​)​(n2​n1​​)2n1​​x2n1​​−1(1+n2​n1​​x)−2n1​+n2​​,0,​x>0x⩽0​

• 分位点

  • $F$分布的上$\alpha$分位点记为$F_{\alpha }(n_1,n_2)$

  • 性质：$F_{1-\alpha }(n_1,n_2)=\frac{1}{F_{\alpha }(n_2,n_1)}$

    证明：

    若$F\sim F(n_1,n_2)$则$\frac{1}{F}\sim F(n_2,n_1)$

    那么$P(F>F_{1-\alpha }(n_1,n_2))=1-\alpha ,P(\frac{1}{F}>F_{\alpha }(n_2,n_1))=\alpha$

    有$P(\frac{1}{F}<\frac{1}{F_{1-\alpha }(n_1,n_2)})=1-\alpha$

    故$P(\frac{1}{F}>\frac{1}{F_{1-\alpha }(n_1,n_2)})=\alpha$

抽样分布的样本均值和样本方差的分布

• 若$X_1,...,X_n$独立同分布且均服从$N(\mu ,{\sigma }^2)$，则

  • $U=\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$

    证明：

    有$$\begin{gathered} \overline{x}=\frac{1}{n}{\sum }_{i=1}^n{X}_i, \\ E(\overline{X})=\frac{1}{n}{\sum }_{i=1}^{n}E(X_i)=\mu \\ D(\overline{X})=\frac{1}{n^2}{\sum }_{i=1}^{n}D(X_i)=\frac{{\sigma }^2}{n} \end{gathered}$$

    所以$\overline{X}\sim N(\mu ,\frac{{\sigma }^2}{n})$，即$\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$

  • $\overline{X}$与$S^2$相互独立 $S^2=\frac{1}{n-1}{\sum }_{i=1}^n(X_i-\overline{X}{)}^2=\frac{1}{n-1}({\sum }_{i=1}^n{X}_i^2-n{\overline{X}}^2)$

  • ${\chi }^2=\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$

  • $T=\frac{\overline{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$

• 若$X_1,...,X_{n_1}$独立同分布且均服从$N({\mu }_1,{\sigma }_1^2)$，$Y_1,...,Y_{n_2}$独立同分布且均服从$N({\mu }_2,{\sigma }_2^2)$，且两样本独立，则

  • $F=\frac{S_1^2/{\sigma }_1^2}{S_2^2/{\sigma }_2^2}\sim F(n_1-1,n_2-1)$

    证明：由上面第三条，$\frac{(n_1-1)S_1^2}{{\sigma }_1^2}\sim {\chi }^2(n_1-1),\frac{(n_2-1)S_2^2}{{\sigma }_2^2}\sim {\chi }^2(n_2-1)$

    $S_1^2,S_2^2$相互独立，则由$F$分布的定义可知
    $$\frac{\frac{(n_1-1)S_1^2}{{\sigma }_1^2}/(n_1-1)}{\frac{(n_2-1)S_2^2}{{\sigma }_2^2}/(n_2-1)}=\frac{S_1^2/{\sigma }_1^2}{S_2^2/{\sigma }_2^2}\sim F(n_1-1,n_2-1)$$

• 进一步，假定${\sigma }_1^2={\sigma }_2^2$，就有
  $$\begin{gathered} T=\frac{\overline{X}-\overline{Y}-({\mu }_1-{\mu }_2)}{S_w\sqrt{1/n_1+1/n_2}}\sim t(n_1-1+n_2-1),其中 \\ {S}_w^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}称为混合样本方差 \end{gathered}$$