机器学习第三天 多元线性回归
数据集下载地址
https://www.xiehaoo.com/media/record/pinke/2018/08/50_Startups.csv
多元线性回归尝试通过用一个线性方程来适配观测数据，这个线性方程是在两个以上（包括两个）的特性和响应之间构建的一个关系。多元线性回归的实现步骤和简单线性回归很相似，在评价部分有所不同。你可以用它来找出在预测结果上哪个因素影响力最大，以及不同变量是如何相互关联的。
设想
想要有一个成功的回归分析，确认这些假定很重要。
1、线性：自变量和因变量的关系应该是线性的（即特征值和预测值是线性相关的）
2、保持误差项的方差齐性（常数方差）：误差项的分散（方差）必须等同
3、多元正态分布：多元回归假定残差符合正态分布。
4、缺少多重共线性：假设数据有极少甚至没有多重共线性。当特征（或自变量）不是相互独立时、会引发多重共线性。
虚（拟）变量
在多元回归模型中、当遇到数据集是非数值数据类型时，使用分类数据是一个非常有效的方法。
分类数据、是指反映（事物）类别的数据，是离散数据，其数值个数（分类属性）有限（但可能很多）且值之间无序。
比如，按性别分为男、女两类。在一个回归模型中，这些分类值可以用虚变量来表示，变量通常取诸如1或0这样的值，来表示肯定类型或否定类型。
虚拟变量陷阱
虚拟变量是指两个以上（包括两个）变量之间高度相关的情形。简而言之，就是存在一个能够被其他变量预测出的变量。我们举一个存在重复类别（变量）的直观例子：假使我们舍弃男性类别，那么，该类别也可以通过女性类别来定义（女性值为0时，表示男性、为1市表示女性），反之亦然。
解决虚拟变量陷阱的方法是，类别变量减去一：假如有m个类别，那么在模型构建时取m-1个虚拟变量，减去的那个变量可以看作是参照值。
注意
过多的变量可能会降低模型的精确度，尤其是如果存在一些对结果无关的变量，或者存在对其他变量造成很大影响的变量时。这里介绍一些选择合适变量的方法：
1、向前选择法
2、向后选择法（也称 向后剔除法/向后消元法）
3、向前向后法：即结合了上面说的向前法和向后法，先用向前法筛选一遍，再用向后法筛选一遍，直到最后无论怎么筛选模型变量都不再发生变化，就算是结束了
第一步：数据预处理
1.导入相关库 Pandas、Numpy、Sklearn 、Matplotlib
2.导入csv数据集
3.检查缺失数据
4.划分数据集
5.有必要的话，编辑虚拟变量并注意避免虚拟变量陷阱
6.特征缩放用简单线性回归模型的相关库实现
数据预处理通过前两天的学习已经熟悉了需要哪些步骤，就不单独一列一列分析了
import pandas as pd
import numpy as np
from sklearn.preprocessing import LabelEncoder, OneHotEncoder
from sklearn.cross_validation import train_test_split
from sklearn.linear_model import LinearRegression
dataset = pd.read_csv('/Users/xiehao/Desktop/100-Days-Of-ML-Code-master/datasets/50_Startups.csv')
"""
数据表格
R&D Spend Administration Marketing Spend State Profit
165349.2 136897.8 471784.1 New York 192261.83
162597.7 151377.59 443898.53 California 191792.06
153441.51 101145.55 407934.54 Florida 191050.39
144372.41 118671.85 383199.62 New York 182901.99
142107.34 91391.77 366168.42 Florida 166187.94
131876.9 99814.71 362861.36 New York 156991.12
134615.46 147198.87 127716.82 California 156122.51
130298.13 145530.06 323876.68 Florida 155752.6
120542.52 148718.95 311613.29 New York 152211.77
123334.88 108679.17 304981.62 California 149759.96
101913.08 110594.11 229160.95 Florida 146121.95
100671.96 91790.61 249744.55 California 144259.4
93863.75 127320.38 249839.44 Florida 141585.52
91992.39 135495.07 252664.93 California 134307.35
119943.24 156547.42 256512.92 Florida 132602.65
114523.61 122616.84 261776.23 New York 129917.04
78013.11 121597.55 264346.06 California 126992.93
94657.16 145077.58 282574.31 New York 125370.37
91749.16 114175.79 294919.57 Florida 124266.9
86419.7 153514.11 0 New York 122776.86
76253.86 113867.3 298664.47 California 118474.03
78389.47 153773.43 299737.29 New York 111313.02
73994.56 122782.75 303319.26 Florida 110352.25
67532.53 105751.03 304768.73 Florida 108733.99
77044.01 99281.34 140574.81 New York 108552.04
64664.71 139553.16 137962.62 California 107404.34
75328.87 144135.98 134050.07 Florida 105733.54
72107.6 127864.55 353183.81 New York 105008.31
66051.52 182645.56 118148.2 Florida 103282.38
65605.48 153032.06 107138.38 New York 101004.64
61994.48 115641.28 91131.24 Florida 99937.59
61136.38 152701.92 88218.23 New York 97483.56
63408.86 129219.61 46085.25 California 97427.84
55493.95 103057.49 214634.81 Florida 96778.92
46426.07 157693.92 210797.67 California 96712.8
46014.02 85047.44 205517.64 New York 96479.51
28663.76 127056.21 201126.82 Florida 90708.19
44069.95 51283.14 197029.42 California 89949.14
20229.59 65947.93 185265.1 New York 81229.06
38558.51 82982.09 174999.3 California 81005.76
28754.33 118546.05 172795.67 California 78239.91
27892.92 84710.77 164470.71 Florida 77798.83
23640.93 96189.63 148001.11 California 71498.49
15505.73 127382.3 35534.17 New York 69758.98
22177.74 154806.14 28334.72 California 65200.33
1000.23 124153.04 1903.93 New York 64926.08
1315.46 115816.21 297114.46 Florida 49490.75
0 135426.92 0 California 42559.73
542.05 51743.15 0 New York 35673.41
0 116983.8 45173.06 California 14681.4
"""
X = dataset.iloc[:, :-1].values
Y = dataset.iloc[:, 4].values
labelencoder = LabelEncoder()
X[:, 3] = labelencoder.fit_transform(X[:, 3])
onehotencoder = OneHotEncoder(categorical_features=[3])
X = onehotencoder.fit_transform(X).toarray()
X = X[:, 1:]
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=0.2, random_state=0)
第二步：在训练集上训练模型
这一步和简单线性回归模型处理方式完全一样。
用sklearn.linear_model库的LinearRegression类，在数据集上训练模型。首先，创建一个LinearRegression的对象regressor,接着用LinearRegression类的fit()方法，用对象regressor在数据集上进行训练。
regressor = LinearRegression()
regressor.fit(X_train, Y_train)
第三步：预测结果
在测试集上进行预测，并观察结果。我们将把输出结果保存在向量Y_pred中。在上一步regressor对象使用predict()方法来预测结果
y_pred = regressor.predict(X_test)
>>print(y_pred)
[ 103015.20159797 132582.27760815 132447.73845175 71976.09851258
178537.48221054 116161.24230165 67851.69209676 98791.73374688
113969.43533012 167921.0656955 ]
感谢原作者 Avik-Jain 以及 zhyongquan的汉化
