机器学习-最近邻算法KNN原理及实现-附python代码

1.最近邻

Nearest Neighbors官方网址：
https://scikit-learn.org/stable/modules/neighbors.html
GitHub文档地址：https://github.com/gao7025/iris_knn

2.工作原理：

KNN是通过测量不同特征值之间的距离进行分类。它的思路是：K个最近的邻居，每个样本都可以用它最接近的K个邻居来代表，如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特征， KNN算法的结果很大程度取决于K的选择，其中K通常是不大于20的整数。距离有很多种计算方法，一般使用欧氏距离或曼哈顿距离即可。

换句话说，KNN就是在训练集中数据和标签已知的情况下，输入测试数据，将测试数据的特征与训练集中对应的特征进行相互比较，找到训练集中与之最为相似的前K个数据，则该测试数据对应的类别就是K个数据中出现次数最多的那个分类，当K取值较大时，抗噪能力强，但K取值较小时，对噪声点的影响特别敏感。

主要步骤：

1. 计算测试数据与各个训练数据之间的距离；
2. 按照距离的递增关系进行排序；
3. 选取距离最小的K个点；
4. 确定前K个点所在类别的出现频率；
5. 返回前K个点中出现频率最高的类别作为测试数据的预测分类。

• 优点：
  （1）简单方便，易于理解，无需训练，直接计算距离
  （2）适用于多分类问题
• 缺点：
  （1）当样本数据不平衡时，分类的效果不佳
  （2）计算量较大，每一点都要计算K个最近的邻居的距离

3.代码示例

# -*- coding: utf-8 -*-
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn import neighbors
from sklearn import metrics

iris = datasets.load_iris()
iris_features = iris.data[:, :2]
iris_target = iris.target
train_x, test_x, train_y, test_y = train_test_split(iris_features, iris_target, test_size=0.3, random_state=123)
clf = neighbors.KNeighborsClassifier(20)
clf.fit(train_x, train_y)
pred = clf.predict(test_x)
print('准确率:{:.1%}'.format(metrics.accuracy_score(test_y, pred)))
1
2
3
4
5
6
7
8
9
10
11
12
13
14

# 预测分类散点图
t = np.column_stack((test_x,pred))
plt.scatter(t[t[:, 2] == 0][:, 0], t[t[:, 2] == 0][:, 1], color = 'hotpink')
plt.scatter(t[t[:, 2] == 1][:, 0], t[t[:, 2] == 1][:, 1], color = '#88c999')
plt.scatter(t[t[:, 2] == 2][:, 0], t[t[:, 2] == 2][:, 1], color = '#6495ED')
plt.show()
1
2
3
4
5
6

分类如图：