机器学习算法基础——一元线性回归

梯度下降法：
损失函数：
$$loss=\sum _{i=1}^n\frac{1}{2n}[y-(kx+b){]}^2$$
对$k,b$求梯度：$$k_{grad}=\frac{\partial loss}{\partial k}=-\sum _{i=1}^n\frac{x}{n}[y-(kx+b)]$$
$$b_{grad}=\frac{\partial loss}{\partial b}=-\sum _{i=1}^n\frac{1}{n}[y-(kx+b)]$$
梯度下降迭代公式：
$$k^{\prime }=k-lr\ast k_{grad}$$
$$b^{\prime }=b-lr\ast b_{grad}$$
其中$lr$表示学习率。

import numpy as np
from matplotlib import pyplot as plt

data=np.genfromtxt("data.csv",delimiter=',')
x_data=data[:,0]
y_data=data[:,1]
plt.scatter(x_data,y_data)
plt.show()

lr=0.0001
b=0
k=0
epochs=100
def loss(x_data,y_data,k,b):#损失函数
    n=len(x_data)
    tot=0
    for i in range(0,n):
       tot+=(k*x_data[i]+b-y_data[i])**2
    return tot/n/2

def grad_descent(x_data,y_data,k,b,lr,epochs):#梯度下降
    n=len(x_data)
    for i in range(epochs):
        b_grad=0
        k_grad=0
        for j in range(n):
            b_grad+=(1/n)*(k*x_data[j]+b-y_data[j])
            k_grad+=(1/n)*x_data[j]*(k*x_data[j]+b-y_data[j])
        b=b-lr*b_grad
        k=k-lr*k_grad
        if(i%10==0):
            print("epochs={0}".format(i))
            plt.plot(x_data,y_data,'b.')
            plt.plot(x_data,k*x_data+b,'r')
            plt.show()
    return k,b
    
print("starting k={0},b={1},loss={2}".format(k,b,loss(x_data,y_data,k,b)))
print("running")
k,b=grad_descent(x_data,y_data,k,b,lr,epochs)
print("after {0} epochs k={1},b={2},loss={3}".format(epochs,k,b,loss(x_data,y_data,k,b)))
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41

sklearn法：

import numpy as np
from matplotlib import pyplot as plt
from sklearn.linear_model import LinearRegression

data=np.genfromtxt("data.csv",delimiter=',')
x_data=data[:,0,np.newaxis]#sklearn 导入的数据需要是一个二维矩阵
y_data=data[:,1,np.newaxis]
plt.scatter(x_data,y_data)
plt.show()

model=LinearRegression()
model.fit(x_data,y_data)#fit 用来建立回归直线

plt.plot(x_data,y_data,'b.')
plt.plot(x_data,model.predict(x_data),'r')# model.predict可以预测x对应的y
plt.show()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16