• 机器学习——KNN算法流程详解（以iris为例）

    、

    目    录

    前情说明

    问题陈述

    数据说明

    KNN算法流程概述

    代码实现

    运行结果

    基于可视化的改进

    可视化代码

    全部数据可视化总览

    分类投票结果

     改进后最终代码

    前情说明

    本书基于《特征工程入门与入门与实践》庄家盛 译版P53页K最近邻（KNN）算法进行讲解

    问题陈述

    Iris 鸢尾花数据集内包含 3 类分别为山鸢尾（Iris-setosa）、变色鸢尾（Iris-versicolor）和维吉尼亚鸢尾（Iris-virginica），共 150 条记录，每类各 50 个数据，每条记录都有 4 项特征：花萼长度、花萼宽度、花瓣长度、花瓣宽度。

    sepallength：萼片长度
    sepalwidth：萼片宽度
    petallength：花瓣长度
    petalwidth：花瓣宽度

    我们的任务就是：给定一组记录（包含sepallength,sepalwidth,petallength,petalwidth），使用KNN算法给出该组记录的分类 （使用0,1,2表示）

    数据说明

    本文使用数据源从机器学习库sklearn的datasets包中获取

    1. # 导入iris数据
    2. iris = datasets.load_iris()

    可支持的数据集如下：

    1.     "load_digits",
    2.     "load_files",
    3.     "load_iris",
    4.     "load_breast_cancer",
    5.     "load_linnerud",
    6.     "load_sample_image",
    7.     "load_sample_images",
    8.     "load_svmlight_file",
    9.     "load_svmlight_files",
    10.     "load_wine",
    11. #不知道为什么我的机器学习库只有这些数据集

    参考链接： sklearn中的datasets数据集 - 知乎 (zhihu.com)

    KNN算法流程概述

    1.数据获取。要进行KNN，我们需要样本的部分属性完整数据以及在各种属性不同值的组合情况下的对应分类结果

    2.数据清洗。获取数据后使用numpy整理缺失值，可视化查看是否有异常值（比如偏正态分布样本出现的极端值或者空值）

    3.数据切分。将数据按照一定比例，从特定位置切分成训练集和测试集，必要情况还需要切割分一部分数据作为验证集

    4.选取k个近邻点。使用某种数据结构或者库函数，获取逻辑距离最近的k个点位

    5.获取结果。对k个点位进行统计，获取票数最多的结果进行分类。但是存在票数一致的情况，可以使用某种排序方式对数据进行排序，隐式的赋予某些特定的数据具有更高的优先级（即返回首位即可）

    6.可视化(补充)。虽然使用KNN算法对结果进行展示了，但是整个过程的投票情况不够直观，于是我们接下来将对整体分类和循环内当前投票情况进行展示。

    代码实现

    1. from sklearn import datasets
    2. from collections import Counter  # 为了做投票计数
    3. from sklearn.model_selection import train_test_split
    4. import random
    5. import numpy as np
    6.  
    7. ###############数据定义区
    8. # 数据集划分随机数种子
    9. randomNums=random.randint(1,9999)
    10. print("随机数{}".format(randomNums))
    11. # 最短投票对象数量
    12. k=3
    13. ###############数据定义区END
    14. # 计算同类属性的欧氏距离 假设能这样计算欧式距离代表样本之间的差距
    15. def calcDistance(toBeMeasuredDataSet,DataSet):
    16.     # print("打印欧氏距离")
    17.     # print(toBeMeasuredDataSet,'\n',DataSet)
    18.     # **2的妙用
    19.     result=np.sqrt(np.sum((toBeMeasuredDataSet - DataSet)**2 ))
    20.     # print("打印欧氏距离",result)
    21.     return result
    22.  
    23. # 原始特征数据集 原始分类数据集 选取个数 待分类对象(一条记录)
    24. def KNNSelect(X,Y,k,testObject):
    25.     # 获取欧氏距离列表 计算待测数据与特征数据集的欧数据集
    26.     distanceList=[calcDistance(testObject,singleData) for singleData in X ]
    27.     # 排序后 切片获取逻辑距离最短的k个对记录的下标(维护前k个最值)
    28.     theShortestIndex=np.argsort(distanceList)[:k]
    29.     # 获取这k个结果
    30.     resultList=Y[theShortestIndex]
    31.     # 返回频率最高的结果 作为样本的类别
    32.     return Counter(resultList).most_common(1)[0][0]
    33.  
    34. def printTopLineA():
    35.     print(r"/\/\/\/\/\/\/\/\/\/\/\/\/")
    36.  
    37. def printTopLineB():
    38.     print(r"\/\/\/\/\/\/\/\/\/\/\/\/\ ")
    39.  
    40. # 导入鸾尾花数据集
    41. irisDataSet=datasets.load_iris()
    42.  
    43. #获取特征数据集
    44. characteristicData=irisDataSet.data
    45. # 获取分类数据集
    46. categoricalData=irisDataSet.target
    47. # 训练用特征数据集
    48. # 测试用特征数据集
    49. # 训练用分类数据集
    50. # 测试用分类数据集
    51. trainCharDataSet,testCharDataSet,trainCateDataSet,testCateDaSet\
    52.     =train_test_split(characteristicData,categoricalData,random_state=randomNums)
    53.  
    54. for index,i in enumerate(testCharDataSet):
    55.     print("第{}个数据\n特征数据是:{}\n数据的类别是:{}".format(index+1,i,KNNSelect(trainCharDataSet,trainCateDataSet,k,i)))
    56.     if (index&1):
    57.         printTopLineA()
    58.     else:
    59.         printTopLineB()

    运行结果

    基于可视化的改进

    我们还是从源数据入手，将源数据转换成key-value聚合的形式，

    具体点就是将同一类数据打成列表，作为以列名为key的对应的value

    运行网址：Replit: the collaborative browser based IDE - Replit

    可视化代码

    1. from collections import Counter  # 为了做投票计数
    2. from sklearn import datasets
    3. from sklearn.model_selection import train_test_split
    4. import random
    5. import numpy as np
    6. import pandas as pd
    7. import seaborn as sns
    8. import matplotlib.pyplot as plt
    9. ###############说明
    10. # 1.本地sns画图环境炸了，具体原因不详，运行平台为Replit，复制即可运行
    11. # 2.参考了许多可视化案例，但大部分都没有理论支撑，就自己做了
    12.  
    13. ###############数据定义区
    14. # 数据集划分随机数种子
    15. randomNums=random.randint(1,9999)
    16. print("随机数{}".format(randomNums))
    17. # 最小投票对象数量
    18. k=9
    19. ###############数据定义区END
    20. # 计算同类属性的欧氏距离 假设能这样计算欧式距离代表样本之间的差距
    21. def calcDistance(toBeMeasuredDataSet,DataSet):
    22.     # print("打印欧氏距离")
    23.     # print(toBeMeasuredDataSet,'\n',DataSet)
    24.     # **2的妙用
    25.     result=np.sqrt(np.sum((toBeMeasuredDataSet - DataSet)**2 ))
    26.     # print("打印欧氏距离",result)
    27.     return result
    28.  
    29. #这个方法会传来收集好的k个数据以及分类结果 然后返回成key-value的形式调用进行可视化
    30. def showVisual(irisData,irisTarget):
    31.   #数据处理
    32.   irisDictData = {
    33.         'sepalLength': [],
    34.         'sepalWidth': [],
    35.         'petalLength': [],
    36.         'petalWidth': []
    37.     }
    38.   for index, i in enumerate(irisDictData):
    39.         # print(index,i,irisDictData[i])
    40.         #将每一列数据剥离出来
    41.         irisDictData[i] = [data[index] for indexs, data in enumerate(irisData)]
    42.   #将分类结果添加进来
    43.   irisDictData['species']=irisTarget
    44.   # 进行可视化
    45.   visual(irisDictData)
    46.  
    47.  
    48. # 原始特征数据集 原始分类数据集 选取个数 待分类对象(一条记录)
    49. def KNNSelect(X,Y,k,testObject):
    50.     # 获取欧氏距离列表 计算待测数据与特征数据集的欧数据集
    51.     distanceList=[calcDistance(testObject,singleData) for singleData in X ]
    52.     # 排序后 切片获取逻辑距离最短的k个对记录的下标(维护前k个最值)
    53.     theShortestIndex=np.argsort(distanceList)[:k]
    54.     # 获取这k个源数据和结果
    55.     dataList=X[theShortestIndex]
    56.     resultList=Y[theShortestIndex]
    57.     print("投票结果：{}".format(resultList))
    58.     ##########可视化出最近的k个点
    59.     showVisual(dataList,resultList)
    60.     # 返回频率最高的结果 作为样本的类别
    61.     return Counter(resultList).most_common(1)[0][0]
    62.  
    63. def showNcolsData():
    64.     # 导入鸾尾花数据集
    65.     irisDataSet = datasets.load_iris()
    66.     # 分析花瓣与花萼的相关性
    67.     # 宽度的相关性
    68.     # 高度的相关性
    69.     # data是采集数据  target是人工分好的类别数据
    70.     irisData = irisDataSet["data"]
    71.     # print(irisData[0][0])
    72.     irisDictData = {
    73.         'sepalLength': [],
    74.         'sepalWidth': [],
    75.         'petalLength': [],
    76.         'petalWidth': []
    77.     }
    78.     for index, i in enumerate(irisDictData):
    79.         # print(index,i,irisDictData[i])
    80.         #将每一列数据剥离出来  注意这里用的下标是index 而不是indexs哈哈
    81.         #感觉写的时候自己挺聪明，过两天就看不懂了qwq 
    82.         irisDictData[i] = [data[index] for indexs, data in enumerate(irisData)]
    83.         # k2, p = stats.normaltest(irisDictData[i])
    84.         # print(k2,p)
    85.     # 添加预测结果数据
    86.     irisDictData['species']=irisDataSet['target']
    87.     return irisDictData
    88.  
    89. # 装饰打印语句
    90. def printTopLineA():
    91.     print(r"/\/\/\/\/\/\/\/\/\/\/\/\/")
    92.  
    93. def printTopLineB():
    94.     print(r"\/\/\/\/\/\/\/\/\/\/\/\/\ ")
    95.  
    96. #可视化函数
    97. def visual(rawData):
    98.   # 传入一个没有被DataFrame的
    99.   dfData=pd.DataFrame(rawData)
    100.   # x  X轴展示数据
    101.   # y  Y轴展示数据
    102.   # data 数据源
    103.   # hub  颜色分类依据列
    104.   # 分类总览
    105.   sns.relplot(x='sepalLength',y='sepalWidth',data=dfData,hue='species')
    106.   plt.show()
    107.   
    108. # 导入鸾尾花数据集
    109. irisDataSet=datasets.load_iris()
    110. #获取特征数据集
    111. characteristicData=irisDataSet.data
    112. # 获取分类数据集
    113. categoricalData=irisDataSet.target
    114. # print("打印分类结果",categoricalData)
    115. # 训练用特征数据集,测试用特征数据集,训练用分类数据集,测试用分类数据集
    116. trainCharDataSet,testCharDataSet,trainCateDataSet,testCateDaSet\
    117.     =train_test_split(characteristicData,categoricalData,random_state=randomNums)
    118. # 可视化需求分析
    119. # 1.对训练集数据进行可视化
    120. # 2.对每个测试对象展示一个独特的点
    121. # 3.标出待测对象最近的k个点
    122.  
    123.  
    124. # 每一列key的字典 对应值是该列数据
    125. irisDictData=showNcolsData()
    126.  
    127. # sepalLength  sepalWidth  petalLength  petalWidth
    128. # print(dfData)
    129. visual(irisDictData) #对整体进行可视化
    130.  
    131. ###使用循环处理待测数据 并给出结果
    132. for index,i in enumerate(testCharDataSet):
    133.     print("第{}个数据\n特征数据是:{}\n数据的类别是:{}"\
    134.           .format(index+1,i,KNNSelect(trainCharDataSet,trainCateDataSet,k,i)))
    135.  
    136.     printTopLineA() if index&1 else printTopLineB()

    全部数据可视化总览

    分类投票结果

     改进后最终代码

    我们对代码进行优化，整理后最终代码如下，可在如上在线平台直接运行

    1. from collections import Counter  # 为了做投票计数
    2. from sklearn import datasets
    3. from sklearn.model_selection import train_test_split
    4. import random
    5. import numpy as np
    6. import pandas as pd
    7. import seaborn as sns   #流行可视化工具
    8. import matplotlib.pyplot as plt #sns的底层基于这个。。。需要用plt.show()
    9.  
    10. ###############说明
    11. # 1.本地sns画图环境炸了，具体原因不详，运行平台为Replit，复制即可运行
    12. # 2.参考了许多可视化案例，但大部分都没有理论支撑，就自己做了
    13. ###############数据定义区
    14. # 数据集划分随机数种子
    15. randomNums = random.randint(1, 9999)
    16. print("随机数{}".format(randomNums))
    17. # 最小投票对象数量
    18. k = 9
    19. # 定义空字典 增加复用率
    20. irisDictEmptyData = {
    21.     'sepalLength': [],
    22.     'sepalWidth': [],
    23.     'petalLength': [],
    24.     'petalWidth': []
    25. }
    26.  
    27. ###############数据定义区END
    28. # 计算同类属性的欧氏距离 假设能这样计算欧式距离代表样本之间的差距
    29. def calcDistance(toBeMeasuredDataSet, DataSet):
    30.     # print("打印欧氏距离")
    31.     # print(toBeMeasuredDataSet,'\n',DataSet)
    32.     # **2的妙用
    33.     result = np.sqrt(np.sum((toBeMeasuredDataSet - DataSet) ** 2))
    34.     # print("打印欧氏距离",result)
    35.     return result
    36.  
    37. def dealRawDataToDict(irisDictData, irisData):
    38.     for index, i in enumerate(irisDictData):
    39.         # print(index,i,irisDictData[i])
    40.         # 将每一列数据剥离出来  注意这里用的下标是index 而不是indexs哈哈
    41.         # 感觉写的时候自己挺聪明，过两天就看不懂了qwq 
    42.         irisDictData[i] = [data[index] for indexs, data in enumerate(irisData)]
    43.     return irisDictData
    44.  
    45. # 这个方法会传来收集好的k个数据以及分类结果 然后返回成key-value的形式调用进行可视化
    46. def showVisual(irisData, irisTarget):
    47.     # 数据处理
    48.     irisDictData = dealRawDataToDict(irisDictEmptyData, irisData)
    49.     # 将分类结果添加进来
    50.     irisDictData['species'] = irisTarget
    51.     # 进行可视化
    52.     visual(irisDictData)
    53.  
    54. # 原始特征数据集 原始分类数据集 选取个数 待分类对象(一条记录)
    55. def KNNSelect(X, Y, k, testObject):
    56.     # 获取欧氏距离列表 计算待测数据与特征数据集的欧数据集
    57.     distanceList = [calcDistance(testObject, singleData) for singleData in X]
    58.     # 排序后 切片获取逻辑距离最短的k个对记录的下标(维护前k个最值)
    59.     theShortestIndex = np.argsort(distanceList)[:k]
    60.     # 获取这k个源数据和结果
    61.     dataList = X[theShortestIndex]
    62.     resultList = Y[theShortestIndex]
    63.     print("投票结果：{}".format(resultList))
    64.     ##########可视化出最近的k个点
    65.     showVisual(dataList, resultList)
    66.     # 返回频率最高的结果 作为样本的类别
    67.     return Counter(resultList).most_common(1)[0][0]
    68.   
    69. #拼装全部原始数据 然后送还字典
    70. def showNcolsData():
    71.     # 导入鸾尾花数据集
    72.     irisDataSet = datasets.load_iris()
    73.     # 分析花瓣与花萼的相关性
    74.     # 宽度的相关性
    75.     # 高度的相关性
    76.     # data是采集数据  target是人工分好的类别数据
    77.     irisData = irisDataSet["data"]
    78.     # print(irisData[0][0])
    79.     irisDictData = dealRawDataToDict(irisDictEmptyData, irisData)
    80.     # 添加预测结果数据
    81.     irisDictData['species'] = irisDataSet['target']
    82.     return irisDictData
    83.  
    84. # 装饰打印语句
    85. def printTopLineA():
    86.     print(r"/\/\/\/\/\/\/\/\/\/\/\/\/")
    87.  
    88. def printTopLineB():
    89.     print(r"\/\/\/\/\/\/\/\/\/\/\/\/\ ")
    90.  
    91. # 可视化函数
    92. def visual(rawData):
    93.     # 传入一个没有被DataFrame的
    94.     dfData = pd.DataFrame(rawData)
    95.     # x  X轴展示数据
    96.     # y  Y轴展示数据
    97.     # data 数据源
    98.     # hub  颜色分类依据列
    99.     # 分类总览
    100.     sns.relplot(x='sepalLength', y='sepalWidth', data=dfData, hue='species')
    101.     plt.show()
    102.  
    103. # 导入鸾尾花数据集
    104. irisDataSet = datasets.load_iris()
    105. # 获取特征数据集
    106. characteristicData = irisDataSet.data
    107. # 获取分类数据集
    108. categoricalData = irisDataSet.target
    109. # print("打印分类结果",categoricalData)
    110. # 训练用特征数据集,测试用特征数据集,训练用分类数据集,测试用分类数据集
    111. trainCharDataSet, testCharDataSet, trainCateDataSet, testCateDaSet \
    112.     = train_test_split(characteristicData, categoricalData, random_state=randomNums)
    113. # 可视化需求分析
    114. # 1.对训练集数据进行可视化
    115. # 2.对每个测试对象展示一个独特的点
    116. # 3.标出待测对象最近的k个点
    117.  
    118. # 每一列key的字典 对应值是该列数据
    119. irisDictData = showNcolsData()
    120.  
    121. # sepalLength  sepalWidth  petalLength  petalWidth
    122. # print(dfData)
    123. visual(irisDictData)  # 进行可视化
    124.  
    125. ###使用循环处理待测数据 并给出结果
    126. for index, i in enumerate(testCharDataSet):
    127.     print("第{}个数据\n特征数据是:{}\n数据的类别是:{}" \
    128.           .format(index + 1, i, KNNSelect(trainCharDataSet, trainCateDataSet, k, i)))
    129.     printTopLineA() if index & 1 else printTopLineB()

    部分参考链接：

    1.sklearn数据集——iris鸢尾花数据集_iris 数据_lyb06的博客-CSDN博客

    2.【机器学习实战】科学处理鸢尾花数据集_鸢尾花数据标准化处理-CSDN博客

    3.数据分析——鸢尾花数据集-CSDN博客

    4.Python collections模块之Counter()详解_python counter-CSDN博客

    5.Python基本函数:np.argsort（）-CSDN博客

    6.Python中的Counter.most_common()方法-CSDN博客

    7.史上最全面K近邻算法/KNN算法详解+python实现 - 知乎 (zhihu.com)

    8.什么是KNN算法？ - 知乎 (zhihu.com)

    9.sklearn中的datasets数据集 - 知乎 (zhihu.com)

  • 相关阅读:
    创建react脚手架项目——demo（react18 + react-router 6）
    git worktree与分支依赖隔离
    C#创历史成为2023年度编程语言！！！
    C语言笔记-18-Linux基础-进程
    基于SpringBoot的体育馆场地赛事预约管理系统设计与实现(源码+lw+部署文档+讲解等)
    SAS学习8、9（方差分析、anova过程、相关分析和回归分析、corr过程、reg过程、多元线性回归、stepwise）
    8Manage PM：通过项目管理信息系统做好进度管控
    蓝凌OA sysUiComponent 任意文件上传漏洞复现
    C#中string类型是引用类型
    uniapp 表格组件，冻结首行首列
  • 原文地址：https://blog.csdn.net/m0_72678953/article/details/133379030