数学小抄:线性回归与协方差

前言

最近在阅读论文时,有一篇论文提到了一个广义的线性回归.在介绍中,它提到了线性回归的斜率与协方差的关系. 下面简单推导一下, 加深理解.

正文

1. 线性回归: 寻找一条直线$y=x\beta +\alpha$ 满足数据之间的误差平方最小
   $$(\hat{\alpha },\hat{\beta })=\underset{(\alpha ,\beta )}{\mathrm{argmin}}\sum _{n=1}^N||y_i-\alpha -x_i\beta |{|}^2$$

2. 右边式展开以及求偏导
   = ∑ n = 1 N y i 2 − ∑ n = 1 N 2 α y i − ∑ n = 1 N 2 β y i x i + ∑ n = 1 N 2 α β x i + ∑ n = 1 N β 2 x i 2 + ∑ n = 1 N α 2 = N y 2 ˉ − N 2 α y ˉ − 2 β N y x ˉ + 2 α β N x ˉ + β 2 N x 2 ˉ + N α 2

   =∑n=1Nyi2−∑n=1N2αyi−∑n=1N2βyixi+∑n=1N2αβxi+∑n=1Nβ2xi2+∑n=1Nα2=Ny2¯−N2αy¯−2βNyx¯+2αβNx¯+β2Nx2¯+Nα2" role="presentation">=∑n=1Ny2i−∑n=1N2αyi−∑n=1N2βyixi+∑n=1N2αβxi+∑n=1Nβ2x2i+∑n=1Nα2=Ny2¯−N2αy¯−2βNyx¯+2αβNx¯+β2Nx2¯+Nα2$$\begin{array}{rl}& =\sum _{n=1}^N{y}_i^2-\sum _{n=1}^{N}2\alpha y_i-\sum _{n=1}^{N}2\beta y_i{x}_i+\sum _{n=1}^{N}2\alpha \beta x_i+\sum _{n=1}^N{\beta }^2{x}_i^2+\sum _{n=1}^N{\alpha }^2\\ & =N\overline{y^2}-N2\alpha \overline{y}-2\beta N\overline{yx}+2\alpha \beta N\overline{x}+{\beta }^{2}N\overline{x^2}+N{\alpha }^2\end{array}$$
   ​=n=1∑N​yi2​−n=1∑N​2αyi​−n=1∑N​2βyi​xi​+n=1∑N​2αβxi​+n=1∑N​β2xi2​+n=1∑N​α2=Ny2ˉ​−N2αyˉ​−2βNyxˉ​+2αβNxˉ+β2Nx2ˉ+Nα2​
   对$\beta$求偏导并令其为0有(1):
   $$-\overline{yx}+\alpha \bar{x}+\beta \overline{x^2}=0$$
   对$\alpha$求偏导并令其为0有(2):
   $$-\bar{y}+\beta \bar{x}+\alpha =0$$
   (2)代入(1)有:
   $$\beta =\frac{\overline{yx}-\bar{y}\bar{x}}{\overline{x^2}-{\bar{x}}^2}$$
   $\alpha =\bar{y}-\beta \bar{x}$

3. 协方差公式:
   $$Cov(X,Y)=E[(X-E(X))(Y-E(Y))]=E[XY-XE(Y)-YE(X)+E(X)E(Y)]$$
   $$Cov(X,Y)=E[XY]-E[X]E[Y]-E[Y]E[X]+E(X)E(Y)=E[XY]-E[X]E[Y]$$

4. 代入$\beta$式中

   $$\beta =\frac{Cov(X,Y)}{Var(x)}$$