机器学习 之 python实现正规方程

Normal Equations (正规方程)

书接上文，想要计算代价函数中$\theta$的值，可以用正规方程的方法来解。这里推导过程就不展开了，有兴趣的可以移步 正规方程推导。

这里直接给出公式:

$$\theta =(X^{T}X{)}^{-1}{X}^{T}y$$

从公式可以看出，相较于梯度下降法，正规方程不需要选择学习率，不需要迭代计算$\theta$，甚至不需要特征缩放。

在给出python代码前，强调一下正规方程的适用范围。

1. 当模型有冗余特征（特征线性相关）或 特征过多，样本过少时，项$(X^{T}X{)}^{-1}$会不可逆，既无法计算。（可以用筛选样本，正则化的方法解决这个问题）
2. 因为需要计算$(X^{T}X{)}^{-1}$，当特征很多的时候算法会很慢。（根据吴恩达老师的说法，现代的电脑都可以处理1000个特征以下的简单模型没什么压力，除非你的模型非常复杂。如果特征过多或模型过于复杂，可以使用梯度下降法）

Python 实现代码如下：

# 正规方程

import matplotlib.pyplot as plt
import numpy as np
# P = np.loadtxt("PV.csv", delimiter=",")


# y = 3x - 2k + 7z - 3
# X = np.array([[1,1,1,1],[2,1,2,1],[3,0,1,1],[0,1,2,1]])
# Y = np.array([[5],[15],[13],[9]])

# y = 2x + 4k + 7

# X = np.array([[1,1,1],[2,3,1],[4,2,1],[3,3,1],[2,2,1]])
# Y = np.array([[13],[23],[23],[25],[19]])


# y = -13 x + 9
X = np.array([[1,1],[0,1],[-1,1],[2,1]])
Y = np.array([[-4],[9],[22],[-17]])


theta = np.linalg.inv(X.T@X)@X.T@Y
print (theta)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

以上。