降维代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
'''
准备工作
'''
# 以下代码是导入这个数据集
# 注意data返回的是一个字典
from sklearn.decomposition import PCA # PCA库

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import load_boston
from sklearn.linear_model import LinearRegression # 线性回归库
from sklearn.metrics import mean_squared_error # 计算mse

# 获取特征和结果
data = load_boston()
x = data['data']
y = data['target']

# 一定要划分训练集和测试集
from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test = train_test_split(x,y,test_size=0.1)

'''
PCA预处理，查看累计贡献率，确认降到几维
'''
# 实例化PCA
pca = PCA()
# 训练模型
pca.fit(X_train,y_train)

# 各自的方差贡献率，查看降维后每个维度的方差贡献率，但没啥用说是
ratio = pca.explained_variance_ratio_
ratio
# 累计贡献率，返回降到一维、二维、三维、四维...时的累计贡献率，用于选择降到几维合适
cum_ratio = ratio.cumsum()
cum_ratio
# 画图展示
xs = list(range(1, len(cum_ratio)+1))
plt.plot(xs,cum_ratio)
plt.xlabel('number of components')
plt.ylabel('cum_explained_variance_ratio')
plt.grid()
plt.show() # 一般来讲降到0.9、0.8就可以

'''
PCA正式处理，查看降维后训练的模型效果
'''
# 降维
pca = PCA(n_components = 2) # 降到2维，当设置维度设置成和原来一样时，可以去除多重共线性。
# 训练模型
pca.fit(X_train)
# 对训练集和测试集进行降维
train_pca = pca.transform(X_train)
test_pca = pca.transform(X_test)

# 实例化线性回归模型
model = LinearRegression()
model.fit(train_pca,y_train)
# 对降维后的数据进行与预测
train_predict = model.predict(train_pca)
test_predict = model.predict(test_pca)
# 就看训练集和测试集的MSE表现情况
mean_squared_error(y_train,train_predict)
mean_squared_error(y_test,test_predict)

# 没有降维前的数据进行线性回归模型
# 实例化线性回归模型
model = LinearRegression()
model.fit(X_train,y_train)
# 对降维后的数据进行与预测
train_predict = model.predict(X_train)
test_predict = model.predict(X_test)
# 就看训练集和测试集的MSE表现情况
mean_squared_error(y_train,train_predict)
mean_squared_error(y_test,test_predict)

# 会发现虽然累计贡献率在0.9以上，但维度没有特别高时，降维后影响很大，这说明不需要降维，本身数据的信息就不多。