【阿旭机器学习实战】【22】特征降维实战---主成分分析(PCA)与线性判别分析算法（LDA）

【阿旭机器学习实战】系列文章主要介绍机器学习的各种算法模型及其实战案例，欢迎点赞，关注共同学习交流。

本文介绍了特征降维的两种方式主成分分析(PCA)与线性判别分析算法（LDA）。并且通过鸢尾花实际案例详细介绍了直接减少特征建模、使用PCA建模以及使用线性判别分析算法进行建模这3种建模方式对预测准确率结果的影响。

1. 特征降维的主要目的

1）在实际的项目中经常会遭遇到特征维度非常高的样本（比如图片），往往无法借助于自己领域的知识来构建有效的特征

2）在数据表现方面，我们无法观测超过三维的数据

2. 常见特征降维的算法是主成分分析：PCA

PCA算法核心：把高维度的向量向低维度投影

1）去平均值，即每一位特征减去各自的平均值

2）计算矩阵协方差和特征向量与特征值

3）把特征值从小到大排序

4）保留前K个特征值对应的特征向量

5）将数据投影到这K个特征所构成的一个新的向量空间中

3. PCA建模与直接减少特征数建模对比----鸢尾花数据集为例

3.1 直接减少特征数目建模

from sklearn import datasets
1

iris = datasets.load_iris()
1

data = iris.data
target = iris.target
data[:4]
1
2
3

array([[5.1, 3.5, 1.4, 0.2],
       [4.9, 3. , 1.4, 0.2],
       [4.7, 3.2, 1.3, 0.2],
       [4.6, 3.1, 1.5, 0.2]])
1
2
3
4

from sklearn.neighbors import KNeighborsClassifier
1

# 直接取前连个特征，舍去后面的两个特征然后进行建模
# 这里没有分析哪些特征是主成分，必然会造成主成分丢失
train = data[:,:2]
train[:2]
1
2
3
4

array([[5.1, 3.5],
       [4.9, 3. ]])
1
2

# 使用KNN算法进行建模
knn = KNeighborsClassifier()
1
2

# 训练模型
knn.fit(train,target)
1
2

KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski',
           metric_params=None, n_jobs=1, n_neighbors=5, p=2,
           weights='uniform')
1
2
3

# 模型在训练数据上的准确度
knn.score(train,target)
1
2

0.8333333333333334
1

3.2 不减少特征数目进行建模

knn = KNeighborsClassifier()
1

knn.fit(data,target)
1

KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski',
           metric_params=None, n_jobs=1, n_neighbors=5, p=2,
           weights='uniform')
1
2
3

knn.score(data,target)
1

0.9666666666666667
1

3.3 交叉验证–直接比较是否减少特征数目建模的准确率

交叉验证法不需要训练，直接传入模型和训练数据就可以输出每一次划分的准确率

from sklearn.model_selection import cross_val_score
1

cross_val_score(knn,train,target)
1

array([0.74509804, 0.74509804, 0.77083333])
1

cross_val_score(knn,data,target)
1

array([0.98039216, 0.98039216, 1.        ])
1

通过以上是否减少特征数据建模后预测准确度我们发现，不减少特征情况下建模准确率达到97%以上，而如果直接取前两个特征进行建模，模型准确度只有70%多，准确率相差还是很大的，说明如果直接减少特征数目降维，会丢失很多有用的信息，从而导致准确率降低。

下面我们用主成分分析PCA的方法进行降维，然后看其模型准确度如何

3.3 用PCA算法进行数据降维–然后进行评估

# 引入PCA算法
from sklearn.decomposition import PCA
# 构建2个特征
pca = PCA(n_components=2)
1
2
3
4

# 训练阶段通过主成分分析，找出主成分的特征空间
pca.fit(data)
1
2

PCA(copy=True, iterated_power='auto', n_components=2, random_state=None,
  svd_solver='auto', tol=0.0, whiten=False)
1
2

# 转化阶段把数据由原来的空间投影到主成分空间
train_pca = pca.transform(data)
1
2

# 交叉验证计算每次建模的准确率
cross_val_score(knn,train_pca,target)
1
2

array([0.98039216, 0.94117647, 0.97916667])
1

我们可以看到，通过PCA方法进行建模后，模型准确率与不减少特征直接建模的准确率差不多，效果还是非常好的。

4. 监督学习算法的特征降维----线性判别分析算法（LDA）

通过主成分分析PCA降维以后可以大大的提高监督学习算法的性能。

主成分分析PCA降维属于无监督学习的一种降维方法，下面介绍一种监督学习算法的降维方法--LDA算法。由于监督学习算法需要考虑标签，因此它的效率低于PCA。

# 导入LDA算法--线性判别分析算法(linear discriminant analysis，LDA)
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
1
2

#创建lda模型
lda = LinearDiscriminantAnalysis(n_components=2)
1
2

# 训练算法并转化数据，借用上述例子中的鸢尾花数据
train_lda = lda.fit_transform(data,target)
1
2

cross_val_score(knn,train_lda,target)
1

array([1.        , 0.94117647, 1.        ])
1

可以发现，这种LDA的降维方法也是很好的，准确率相比于原始数据建模相差不多。

如果内容对你有帮助，感谢记得点赞+关注哦！

欢迎关注我的公众号:阿旭算法与机器学习，共同学习交流。
更多干货内容持续更新中…