目录

从本节开始将介绍线性回归。

线性回归介绍

线性回归本质上是针对一个或者多个自变量$x$和因变量$y$之间的关系进行建模，通过建模得到的函数图像去拟合自变量与因变量构成的数据点。

示例：
构建一个数据点集合表示如下：

通过拟合一条线，使得各样本点到函数图像映射结果之间距离之和最短。

如何构建这条红色线？或者说，在已知样本(蓝色点)的条件下，如何利用样本信息，获取模型参数，从而构建模型来拟合样本？
我们将拟合自变量$x$与因变量$y$之间关系的函数称为拟合方程，最小二乘法是常用于求解拟合方程参数的一种工具。

下面将介绍基于自变量$x$与因变量$y$的条件下，使用最小二乘法求解拟合方程参数的过程。

符号定义

定义数据集合$Data$中包含$N$个样本，每个样本包含一个自变量$x$和因变量$y$：
$$Data=\{(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),\cdots ,(x^{(N)},y^{(N)})\}=\{(x^{(i)},y^{(i)})\}{|}_{i=1,2,\cdots ,N}$$

其中，任意自变量 x ( i ) ∈ { x ( 1 ) , x ( 2 ) , ⋯   , x ( N ) } x^{(i)} \in \{x^{(1)},x^{(2)},\cdots,x^{(N)}\} x(i)∈{x(1),x(2),⋯,x(N)}是$p$维随机变量，因变量$y$是一个标量、实数：
x ( i ) = ( x 1 ( i ) x 2 ( i ) ⋮ x p ( i ) ) x^{(i)} =

x(i)=⎝ ⎛​x1(i)​x2(i)​⋮xp(i)​​⎠ ⎞​

记作：$x^{(i)}\in {\mathbb{R}}^p,y^{(i)}\in \mathbb{R}(i=1,2,\cdots ,N)$

将自变量从数据集合中分离出来，用$\mathcal{X}$进行表示：
$$\mathcal{X}=(x^{(1)},x^{(2)},\cdots ,x^{(N)}{)}^T$$
根据上面的介绍，每一个自变量$x^{(i)}(1=1,2,\cdots ,N)$都是一个$p$维列向量。因此，对上述结果继续展开：
X = ( x ( 1 ) T x ( 2 ) T ⋮ x ( N ) T ) = ( x 1 ( 1 ) , x 2 ( 1 ) , ⋯   , x p ( 1 ) x 1 ( 2 ) , x 2 ( 2 ) , ⋯   , x p ( 2 ) ⋮ x 1 ( N ) , x 2 ( N ) , ⋯   , x p ( N ) ) N × p \mathcal X =

= _{N \times p} X=⎝ ⎛​x(1)Tx(2)T⋮x(N)T​⎠ ⎞​=⎝ ⎛​x1(1)​,x2(1)​,⋯,xp(1)​x1(2)​,x2(2)​,⋯,xp(2)​⋮x1(N)​,x2(N)​,⋯,xp(N)​​⎠ ⎞​N×p​
同理，因变量$y$的集合$\mathcal{Y}$表示如下：
$\mathcal{Y}$是一个列向量。
$$\mathcal{Y}=(y^{(1)},y^{(2)},\cdots ,y^{(N)}{)}^T{|}_{N\times 1}$$

一般情况下，将拟合方程定义为：
这里将偏置项‘归纳进’${\mathcal{W}}^{T}x$内部。
$$f(\mathcal{W})={\mathcal{W}}^{T}x$$
其中，拟合方程参数$\mathcal{W}$是$p$维列向量：
维度为p的目的是要与‘自变量’$x^{(i)}(i=1,2,\cdots ,N)$进行线性运算。
W = ( w 1 w 2 ⋮ w p ) \mathcal W =

W=⎝ ⎛​w1​w2​⋮wp​​⎠ ⎞​

最小二乘法主要思想

针对数据集合$Data=\{(x^{(i)},y^{(i)}){\}}_{i=1,2,\cdots ,N}$，计算基于样本$x^{(i)}$的拟合方程结果${\mathcal{W}}^T{x}^{(i)}$和因变量$y^{(i)}$之间的 差距；对样本集合中所有样本的差距进行求和，当求和结果数值最小时，拟合方程$f(\mathcal{W})$对数据集合中样本的拟合效果最优。

最小二乘法求解拟合方程的模型参数

最小二乘法公式表达如下：
定义一个函数：该函数表示所有差距和的表现形式：
通常称这种函数为‘策略’——只是一种判别工具；也通常称它为‘损失函数’。
$$\mathcal{L}(\mathcal{W})=\sum _{i=1}^N||{\mathcal{W}}^T{x}^{(i)}-y^{(i)}|{|}^2$$
由于$(x^{(i)},y^{(i)})$是数据集合中的具体样本，是已知量；因此，最小二乘法可以看成关于拟合方程参数$\mathcal{W}$的函数形式。

继续观察上式，标准式中记录的是向量模的平方。由于$x^{(i)}$是一个$p$维列向量，则有：
W T x ( i ) − y ( i ) = ( w 1 , w 2 , ⋯   , w p ) ( x 1 ( i ) x 2 ( i ) ⋮ x p ( i ) ) − y ( i ) = w 1 x 1 ( i ) + w 2 x 2 ( i ) + ⋯ + w p x p ( i ) − y ( i ) \mathcal W^{T}x^{(i)} -y^{(i)} = (w_1,w_2,\cdots,w_p)

- y^{(i)}= w_1x_1^{(i)} + w_2x_2^{(i)} + \cdots + w_p x_p^{(i)} - y^{(i)} WTx(i)−y(i)=(w1​,w2​,⋯,wp​)⎝ ⎛​x1(i)​x2(i)​⋮xp(i)​​⎠ ⎞​−y(i)=w1​x1(i)​+w2​x2(i)​+⋯+wp​xp(i)​−y(i)

该结果就是一个 实数。因此，上面公式可直接表示为：
实际上，$\mathcal{L}(\mathcal{W})$自身也是一个实数(标量)。
$$\mathcal{L}(\mathcal{W})=\sum _{i=1}^N({\mathcal{W}}^T{x}^{(i)}-y^{(i)}{)}^2$$

将上述公式表达为符号定义中的矩阵运算格式：

• 将上述公式右侧展开，得到如下结果：
  $$({\mathcal{W}}^T{x}^{(1)}-y^{(1)}{)}^2+({\mathcal{W}}^T{x}^{(2)}-y^{(2)}{)}^2+\cdots +({\mathcal{W}}^T{x}^{(N)}-y^{(N)}{)}^2$$
• 将上述公式看作为两向量的乘积格式。则有：
  ( W T x ( 1 ) − y ( 1 ) , W T x ( 2 ) − y ( 2 ) , ⋯   , W T x ( N ) − y ( N ) ) ( W T x ( 1 ) − y ( 1 ) W T x ( 2 ) − y ( 2 ) ⋮ W T x ( N ) − y ( N ) ) \left(\mathcal W^{T}x^{(1)} - y^{(1)},\mathcal W^{T}x^{(2)} - y^{(2)},\cdots,\mathcal W^{T}x^{(N)} - y^{(N)}\right)
  (WTx(1)−y(1)WTx(2)−y(2)⋮WTx(N)−y(N))" role="presentation" style="position: relative;">⎛⎝⎜⎜⎜⎜⎜WTx(1)−y(1)WTx(2)−y(2)⋮WTx(N)−y(N)⎞⎠⎟⎟⎟⎟⎟$$\left(\begin{array}{c}{\mathcal{W}}^T{x}^{(1)}-y^{(1)}\\ {\mathcal{W}}^T{x}^{(2)}-y^{(2)}\\ ⋮\\ {\mathcal{W}}^T{x}^{(N)}-y^{(N)}\end{array}\right)$$
  (WTx(1)−y(1),WTx(2)−y(2),⋯,WTx(N)−y(N))⎝ ⎛​WTx(1)−y(1)WTx(2)−y(2)⋮WTx(N)−y(N)​⎠ ⎞​
  • 观察第一项：可以将该向量向量写成两向量相减的形式：
    $$\left({\mathcal{W}}^T{x}^{(1)},{\mathcal{W}}^T{x}^{(2)},\cdots ,{\mathcal{W}}^T{x}^{(N)}\right)-(y^{(1)},y^{(2)},\cdots ,y^{(N)})$$
  • 继续化简，将${\mathcal{W}}^T$提出：
    注意公式中的行向量形式，使用${\mathcal{X}}^T,{\mathcal{Y}}^T$替换。
    W T ( x ( 1 ) , x ( 2 ) , ⋯   , x ( N ) ) − ( y ( 1 ) , y ( 2 ) , ⋯   , y ( N ) ) = W T X T − Y T
    WT(x(1),x(2),⋯,x(N))−(y(1),y(2),⋯,y(N))=WTXT−YT" role="presentation" style="position: relative;">WT(x(1),x(2),⋯,x(N))−(y(1),y(2),⋯,y(N))=WTXT−YT$$\begin{array}{r}{\mathcal{W}}^T(x^{(1)},x^{(2)},\cdots ,x^{(N)})-(y^{(1)},y^{(2)},\cdots ,y^{(N)})={\mathcal{W}}^T{\mathcal{X}}^T-{\mathcal{Y}}^T\end{array}$$
    WT(x(1),x(2),⋯,x(N))−(y(1),y(2),⋯,y(N))=WTXT−YT​
  • 观察第二项，由于第二项就是第一项的转置，直接通过第一项结果进行求解：
    $$({\mathcal{W}}^T{\mathcal{X}}^T-{\mathcal{Y}}^T{)}^T=\mathcal{X}\mathcal{W}-\mathcal{Y}$$

至此，我们将损失函数$\mathcal{L}(\mathcal{W})$表示为如下形式：
展开~
L ( W ) = ( W T X T − Y T ) ( X W − Y ) = W T X T X W − Y T X W − W T X T Y + Y T Y

L(W)​=(WTXT−YT)(XW−Y)=WTXTXW−YTXW−WTXTY+YTY​
观察中间两项：${\mathcal{Y}}^T\mathcal{X}\mathcal{W}$和${\mathcal{W}}^T{\mathcal{X}}^T\mathcal{Y}$：

• ${\mathcal{Y}}^T\mathcal{X}\mathcal{W}$中${\mathcal{Y}}^T$是 $1\times p$维向量；$\mathcal{X}$是 $p\times p$维向量；$\mathcal{W}$是 $p\times 1$维向量；最终乘积结果是 $1\times 1$维的向量，即标量、实数；
• 同理，${\mathcal{W}}^T{\mathcal{X}}^T\mathcal{Y}$中${\mathcal{W}}^T$是 $1\times p$维向量；${\mathcal{X}}^T$是 $p\times p$维向量；$\mathcal{Y}$是 $p\times 1$维向量；最终乘积结果同样也是标量、实数。
• 并且，${\mathcal{Y}}^T\mathcal{X}\mathcal{W}$和${\mathcal{W}}^T{\mathcal{X}}^T\mathcal{Y}$之间存在如下关系：
  $$({\mathcal{Y}}^T\mathcal{X}\mathcal{W}{)}^T={\mathcal{W}}^T{\mathcal{X}}^T\mathcal{Y}$$

至此，我们得到结果：
$${\mathcal{W}}^T{\mathcal{X}}^T\mathcal{Y}={\mathcal{Y}}^T\mathcal{X}\mathcal{W}$$

因此，$\mathcal{L}(\mathcal{W})$可以继续化简为：
$$\mathcal{L}(\mathcal{W})={\mathcal{W}}^T{\mathcal{X}}^T\mathcal{X}\mathcal{W}-2{\mathcal{W}}^T{\mathcal{X}}^T\mathcal{Y}+{\mathcal{Y}}^T\mathcal{Y}$$

基于最小二乘法的思想，目的是求解一个最优$\hat{\mathcal{W}}$，使得：
$$\hat{\mathcal{W}}=\underset{\mathcal{W}}{\mathrm{argmin}}\mathcal{L}(\mathcal{W})$$

基于该思路，对$\mathcal{L}(\mathcal{W})$关于$\mathcal{W}$求导：
这里用到了矩阵求导的相关知识，大家一起去恶补矩阵论吧。
$$\frac{\partial \mathcal{L}(\mathcal{W})}{\partial \mathcal{W}}=2{\mathcal{X}}^T\mathcal{X}\mathcal{W}-2{\mathcal{X}}^T\mathcal{Y}$$
令$\frac{\partial \mathcal{L}(\mathcal{W})}{\partial \mathcal{W}}\triangleq 0$，则有：
$$\begin{gathered} {\mathcal{X}}^T\mathcal{X}\mathcal{W}={\mathcal{X}}^T\mathcal{Y} \\ \mathcal{W}=({\mathcal{X}}^T\mathcal{X}{)}^{-1}{\mathcal{X}}^T\mathcal{Y} \end{gathered}$$

至此，基于最小二乘估计算法，拟合方程$f(\mathcal{W})={\mathcal{W}}^{T}x$的模型参数$\mathcal{W}$的矩阵形式表达。

模型参数$\mathcal{W}$的几何解释

几何解释1

观察$\mathcal{L}(\mathcal{W})$的标准式：
$$\mathcal{L}(\mathcal{W})=\sum _{i=1}^N({\mathcal{W}}^T{x}^{(i)}-y^{(i)}{)}^2$$

可以将其视为一个总误差：将所有误差分散在了每一个自变量中，如上图表示的箭头，箭头的长度表示误差的具体数值，这些数值有正有负(分别位于函数图像的上方与下方)。
取平方最朴素的思想即确定误差数值的符号均为正。总误差即所有所有样本构成的误差数值的总和；

几何解释2

如果将拟合函数进行变换：
$$f(\mathcal{W})={\mathcal{W}}^T{x}^{(i)}={x^{(i)}}^T\beta$$

其中$\mathcal{W}$和$\beta$向量维度相同，即$p\times 1$。
因此，将$x^T\beta$进行展开：
x ( i ) T β = ( x 1 ( i ) , x 2 ( i ) , ⋯   , x p ( i ) ) ( β 1 β 2 ⋮ β p ) = x 1 ( i ) β 1 + x 2 ( i ) β 2 + ⋯ + x p ( i ) β p

x(i)Tβ​=(x1(i)​,x2(i)​,⋯,xp(i)​)⎝ ⎛​β1​β2​⋮βp​​⎠ ⎞​=x1(i)​β1​+x2(i)​β2​+⋯+xp(i)​βp​​

观察发现，${x^{(i)}}^T\beta$和${\mathcal{W}}^T{x}^{(i)}$的格式相同，其结果都是一个标量、实数。如果 将${x^{(i)}}^T\beta$结果与$p$维空间中的原点相连，构成一个向量，可以将$x_1^{(i)}{\beta }_1,x_2^{(i)}{\beta }_2,\cdots ,x_p^{(i)}{\beta }_p$看做$p$维空间中每个维度空间的分量。

同理，自变量$x^{(i)}$对应的因变量$y^{(i)}$同样 也是一个数值，该值与$p$维空间中的原点相连也会得到一个向量。什么时候$y^{(i)}$对应的向量和${x^{(i)}}^T\beta$对应的向量是最接近的：

即${x^{(i)}}^T\beta$向量在各个维度的分量均在 $y^{(i)}$对应向量在$p$维空间中，每个维度空间中的投影上。

如果满足上述条件，$y^{(i)}-{x^{(i)}}^T\beta$表示$p$维度空间中各维度自变量的拟合方程结果与因变量之间的距离向量。如果满足上述条件，该 距离向量 应该与 自变量$x^{(i)}$向量在各维度的分量相垂直，只有垂直情况下，两向量之间距离最近。
$y^{(i)}-{x^{(i)}}^T\beta$不仅要和${x^{(i)}}^T\beta$相垂直，而是和${x^{(i)}}^T\beta$所在$p$维超平面相垂直，因此就要和自变量的每一个维度相垂直。
则有：
两向量夹角90，向量乘积结果为0
$${x^{(i)}}^T(y^{(i)}-{x^{(i)}}^T\beta )=0$$
同理，所有自变量$x^{(i)}(i=1,2,\cdots ,N)$与对应的因变量$y^{(i)}(1=1,2,\cdots ,N)$都有相同关系。

因此，矩阵表达方式如下：
$${\mathcal{X}}^T(\mathcal{Y}-\mathcal{X}\beta )=0$$
将上式展开移项：
$$\begin{gathered} {\mathcal{X}}^T\mathcal{Y}={\mathcal{X}}^T\mathcal{X}\beta \\ \beta =({\mathcal{X}}^T\mathcal{X}{)}^{-1}{\mathcal{X}}^T\mathcal{Y} \end{gathered}$$

下一节将介绍从概率视角认识最小二乘法

相关参考：
机器学习-白板推导系列(三)-线性回归（Linear Regression）