机器学习实训（2）——分类（补充）

目录

1 构建分类器

1.1 np.random.permutation()

1.2 KNeighborsClassifier()

1.3 GridSearchCV() 

2 数据处理

2.1 Kaggle注册

2.2 Titanic数据处理

---

1 构建分类器

为MNIST数据集构建一个分类器，并在测试集上达成超过97%的精度。

下面进行代码展示：

#1、获取MNIST数据集
from sklearn.datasets import fetch_openml
mnist = fetch_openml('mnist_784', version=1, cache=True, as_frame=False)
 
#2、划分数据集
import numpy as np
 
X, y = mnist["data"], mnist["target"]
 
#MNIST默认划分的训练集和测试集
X_train, X_test, y_train, y_test = X[:60000], X[60000:], y[:60000], y[60000:] 
 
#数据重新洗牌，防止算法对训练实例的顺序敏感
shuffle_index = np.random.permutation(60000)#生成一个随机排列的数组
X_train, y_train = X_train[shuffle_index], y_train[shuffle_index]
 
 
#注意对自己电脑硬件不自信不要运行下面代码，以防蓝屏，可以了解一下思想
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import GridSearchCV
 
param_grid = [{'weights': ["uniform", "distance"], 'n_neighbors': [3, 4, 5]}]
 
knn_clf = KNeighborsClassifier()
grid_search = GridSearchCV(knn_clf, param_grid, cv=5, verbose=3, n_jobs=-1)
grid_search.fit(X_train, y_train)

找到合适的超参数： 

grid_search.best_params_

运行结果如下：

{'n_neighbors': 4, 'weights': 'distance'}

得分： 

grid_search.best_score_

运行结果如下：

0.97325

预测精度： 

from sklearn.metrics import accuracy_score
 
y_pred = grid_search.predict(X_test)
accuracy_score(y_test, y_pred)

运行结果如下：

0.9714

我们就代码中包含的知识点进行简单讲解：

1.1 np.random.permutation()

对给定的数组重新排列。

import numpy as np
 
arr = np.random.permutation(6)
print(arr)

运行结果如下：

[2 5 4 0 3 1]

另外对数组进行重新排列的还包括：np.random.shuffle(arr)

arr = np.arange(6)
print(arr)
np.random.shuffle(arr)
print(arr)

运行结果如下：

[0 1 2 3 4 5]
[4 5 1 2 0 3]

1.2 KNeighborsClassifier()

中文文档说明：sklearn.neighbors.KNeighborsClassifier-scikit-learn中文社区

英文文档说明：sklearn.neighbors.KNeighborsClassifier — scikit-learn 1.1.2 documentation 

我们看一下文档中参数：

sklearn.neighbors.KNeighborsClassifier(n_neighbors=5, *, weights='uniform', algorithm='auto', leaf_size=30, p=2, metric='minkowski', metric_params=None, n_jobs=None, **kwargs）