Intro
线性回归（Linear Regression）是机器学习的基本方式，但为了提升其性能，人们发明了无数优化方式。这个“不只是线性回归”系列就是为了记录我在日常的学习中发现的，不只是简单的线性回归的算法、优化方式、数学原理等。
1. 稳健回归（Robust Regression）
稳健回归，顾名思义就是“稳健的”线性回归。它主要解决了一般线性回归受离群值（outliers）的问题，而这个问题主要体现在回归模型中使用的最小二乘法实现。
1.1 最小二乘法的问题
最小二乘法，是通过最小化误差（error）的平方和来寻找最佳回归函数的方法。它的本质是无偏估计，因此离群值的存在对它的有效性会有非常大的影响。
这个网址提供了一个小工具，可以非常方便的看到离群值对最小二乘法的巨大影响。可以看到图1中有一个60个数据点的数据集，并绘制出了一条蓝色的回归直线。在图2中，只是添加了三个离群值（右下角），就直接将回归结果的相关系数从0.77拉低到了0.43。
图1：无离群值的OLS
图2：添加离群值后的OLS
稳健回归，就非常好的解决了上面的问题。
1.2 对离群值的容忍度（Breaking Point）
稳健回归对离群值的处理基于一个可设定的参数：容忍度。这个参数决定了模型会将哪些离群值剔除出训练数据。在下面介绍的算法中，都可以找到相应的此参数。
1.3 RANSAC - 随机采样一致性算法
RANSAC算法其实是一种重采样的技术，它通过多次随机采样，得到更准确的剔除离群值影响的模型。它的一种常见计算步骤如下：
- 随机选择n个样本点（n是人为指定的模型所需最小样本点数量）；
- 根据这些样本得出回归模型；
- 根据上一步得到的模型计算所有样本点的残差（residual），将残差小于预设残差阈值的点归为inlier，其余是outlier；
- 判断inlier数量是否达到预设的样本数阈值，如果达到则说明模型足够合理，如果未达到则重复上述步骤。
从上面的算法步骤就能看出，RANSAC算法的有效性很大程度上取决于迭代次数，但它大部分时候还是可以得到一个不错的结果。
下面是用 sklearn 库的 RANSACRegressor 类实现的一个代码示例。
# -*- coding: utf-8 -*-
# 引入所需库
import numpy as np
import pandas as pd
from sklearn.linear_model import LinearRegression, RANSACRegressor
from sklearn import datasets
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt
# 借用Boston Housing的数据
data = datasets.load_boston()
df = pd.DataFrame(data.data, columns=data.feature_names)
# 选择LSTAT这个特征作为示例
X = df['LSTAT'].values.reshape(-1, 1)
y = data.target
X_train, X_test, y_train, y_test = train_test_split(X, y)
# 普通线性回归
lin_model = LinearRegression()
lin_model.fit(X_train, y_train)
lin_y_pred = lin_model.predict(X_test)
# RANSAC回归
ran_model = RANSACRegressor()
ran_model.fit(X_train, y_train)
ran_y_pred = ran_model.predict(X_test)
inlier_mask = ran_model.inlier_mask_
outlier_mask = np.logical_not(inlier_mask)
# 评价两个模型的效果
plt.figure(figsize=(15,10))
plt.scatter(X_train[inlier_mask], y_train[inlier_mask], c='green', label='Inliers')
plt.scatter(X_train[outlier_mask], y_train[outlier_mask], c='red', label='Outliers')
plt.plot(X_test, lin_y_pred, '-k', label='LR')
plt.plot(X_test, ran_y_pred, '-b', label='RANSAC')
plt.legend(loc='upper right')
plt.show()
最后绘制出的图表如下，可以看出RANSAC模型得出的结果会更加精确且成功排除了大量离群值。
图3：RANSAC模型与普通线性回归对比
Summary
其实稳健回归还有很多其他的模型，如提尔森回归（Theil-sen）等。
它们各有各的适用范围，例如上面的提尔森回归据说更适合多维的回归（我并没有自己研究过...）。
