机器学习 Day 2 | Simple Linear Regression

机器学习第二天简单的线性回归

数据表格地址：
https://www.xiehaoo.com/media/record/pinke/2018/08/studentscores.csv

1.使用单一特征值来预测响应量
这是一种基于自变量值(X)来预测因变量值(Y)的方法。假设这两个变量是线性相关的。那么我们要尝试寻找一种根据根据特征或自变量(X)的线性函数来精确预测响应值(Y)。

2.怎样找到最佳的拟合线？
在这个回归任务中，我们将通过找到"最佳拟合线"来最小化预测误差,即回归线的误差将是最小的。我们试图最小化观测值(Yi)和模型预测值（Yp）之间的长度。

继续先上整段代码，再逐步分析

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from sklearn.cross_validation import train_test_split
from sklearn.linear_model import LinearRegression

dataset = pd.read_csv('/Users/xiehao/Desktop/100-Days-Of-ML-Code-master/datasets/studentscores.csv')
X = dataset.iloc[:, : 1].values
Y = dataset.iloc[:, 1].values
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=1 / 4, random_state=0)
regressor = LinearRegression()
regressor = regressor.fit(X_train, Y_train)
Y_pred = regressor.predict(X_test)
plt.scatter(X_train, Y_train, color='red')
plt.plot(X_train, regressor.predict(X_train), color='blue')
plt.scatter(X_test, Y_test, color='red')
plt.plot(X_test, regressor.predict(X_test), color='blue')

第一步：数据预处理
按照昨天数据预处理表格信息一样执行相同步骤
1.导入相关库 Pandas、Numpy、Sklearn 、Matplotlib
2.导入csv数据集
3.检查缺失数据
4.划分数据集
5.特征缩放

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from sklearn.cross_validation import train_test_split

"""
cav表格信息
    Hours  Scores
0     2.5      21
1     5.1      47
2     3.2      27
3     8.5      75
4     3.5      30
5     1.5      20
6     9.2      88
7     5.5      60
8     8.3      81
9     2.7      25
10    7.7      85
11    5.9      62
12    4.5      41
13    3.3      42
14    1.1      17
15    8.9      95
16    2.5      30
17    1.9      24
18    6.1      67
19    7.4      69
20    2.7      30
21    4.8      54
22    3.8      35
23    6.9      76
24    7.8      86
"""

dataset = pd.read_csv('/Users/xiehao/Desktop/100-Days-Of-ML-Code-master/datasets/studentscores.csv')
X = dataset.iloc[ : ,   : 1 ].values
Y = dataset.iloc[ : , 1 ].values
>>print(X)
  [[ 2.5]
 [ 5.1]
 [ 3.2]
 [ 8.5]
 [ 3.5]
 [ 1.5]
 [ 9.2]
 [ 5.5]
 [ 8.3]
 [ 2.7]
 [ 7.7]
 [ 5.9]
 [ 4.5]
 [ 3.3]
 [ 1.1]
 [ 8.9]
 [ 2.5]
 [ 1.9]
 [ 6.1]
 [ 7.4]
 [ 2.7]
 [ 4.8]
 [ 3.8]
 [ 6.9]
 [ 7.8]]
>>print(Y)
  [21 47 27 75 30 20 88 60 81 25 85 62 41 42 17 95 30 24 67 69 30 54 35 76 86]

X_train, X_test, Y_train, Y_test = train_test_split( X, Y, test_size = 1/4, random_state = 0) 
#X_train,X_test与Y_test,Y_train以0.25的比例分割

第二步：通过训练集来训练简单线性回归模型
为了使用模型来训练数据集，我们将使用来自sklearn.linear_model库的LinearRegression类，然后我们将创建一个LinearRegression类的regressor对象，最后我们将使用LinearRegression类的fit()方法将regressor对象对数据集进行训练。

线性回归的目的是要得到输出向量Y和输入特征X之间的线性关系，求出线性回归系数θ，也就是 Y=Xθ。其中Y的维度为mx1，X的维度为mxn，而θ的维度为nx1。m代表样本个数，n代表样本特征的维度。
为了得到线性回归系数θ，我们需要定义一个损失函数、一个极小化损失函数的优化方法、以及一个验证算法的方法。损失函数的不同、损失函数的优化方法的不同、验证方法的不同，就形成了不同的线性回归算法

LinearRegression类就是我们平时说的最常见普通的线性回归，它的损失函数也是最简单的，如下：

损失函数的优化方法：

对于这个损失函数，一般有梯度下降法和最小二乘法两种极小化损失函数的优化方法，而scikit中的LinearRegression类用的是最小二乘法。通过最小二乘法，可以解出线性回归系数θ为：

使用场景：

一般来说，只要觉得数据有线性关系，LinearRegression类是我们的首选。如果发现拟合或者预测的不好，再考虑用其他的线性回归库。

regressor = LinearRegression()
regressor = regressor.fit(X_train, Y_train)

第三步：预测结果
现在我们将预测来自测试集的观察结果。
我们将把输出保存在向量Y_pred中。
我们使用前一步中训练回归模型regressor的LinearRegression类的预测方法来对结果进行预测。

Y_pred = regressor.predict(X_test)
>>print(Y_pred)
  [ 16.84472176  33.74557494  75.50062397  26.7864001   60.58810646
  39.71058194  20.8213931 ]

第四步：可视化
最后一步是将结果可视化，我们将使用matplotlib.pyplot库对我们的训练集结果和测试集结果做散点图，以查看我们的模型预测效果。

#Visualising the Training results
plt.scatter(X_train , Y_train, color = 'red')
plt.plot(X_train , regressor.predict(X_train), color ='blue')

#Visualizing the test results
plt.scatter(X_test , Y_test, color = 'red')
plt.plot(X_test , regressor.predict(X_test), color ='blue')

通过plt.show()可以看到线性回归后的可视化图

关于线性回归我觉得吴恩达教授的机器学习课程中的视频讲解的很详细，很适合初学者入门，B站中就有完整的视频，链接在下
https://www.bilibili.com/video/av9912938?from=search&seid=7505936833844820634

昨日百万级数据预处理还是没实践，事实在太多，还是留到周末8

感谢原作者 Avik-Jain 以及 zhyongquan的汉化

PS：
用Mac的朋友可能在导入matplotlib时会报错：

>>> import matplotlib.pyplot as plt
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
...
in <module>
from matplotlib.backends import _macosx
RuntimeError: Python is not installed as a framework. The Mac OS X backend will not be able to function correctly if Python is not installed as a framework. See the Python documentation for more information on installing Python as a framework on Mac OS X. Please either reinstall Python as a framework, or try one of the other backends. If you are Working with Matplotlib in a virtual enviroment see 'Working with Matplotlib in Virtual environments' in the Matplotlib FAQ

似乎是因为虚拟环境与默认环境的安装配置不同造成的。搜索错误后在STO上找到了解决方案：
打开终端
vim ~/.matplotlib/matplotlibrc
然后输入以下内容：
backend: TkAgg
保存即可