梳理统计学习相关的体系
进入统计机器学习模型部分，首先从最基础的从回归分析说起。
1.回归分析
回归分析大家相对来说都已经比较了解，本质上说是以用数据去拟合自变量与解释变量之间的线性关系。是后续各种统计学习模型的基础。本部分对此不做详细介绍，这次从最小二乘的几何意义角度去看回归分析。
我们知道最终的估计满足 。所以从几何角度上看，最优估计是在空间上的正交投影
回归分析的几何解释
统计/回归分析中的的一些基本概念：
- t 检验
- F 检验
- p value
- 多重共线性
关于统计基础以及其在工作中的常用应用，可参见（##先占坑）
2.正则化处理
训练数据是有限的时候，总可以通过增加参数的方法提高模型复杂度，降低训练误差，但是其泛化能力不好。正则化即通过调整参数的取值，来平衡偏差和方差的关系。
线性回归中，最直接的方法就行在loss function中添加正则化项。一般形式如下：
- 当取一范数时，即为lasso；
- 二范数：岭回归
- 一范数和二范数组合：弹性网络。
一范数和二范数的几何意义区别如下(这里就不解释了)：
- lasso会将特征衰减到0
- 岭回归大量特征系数都比较小
- 弹性网络结合了两种方法的优点
lasso与岭回归的对比
从概率不同学派的角度来看上面的问题。
正则化的方式，是从频率学派角度来看；而贝叶斯学派视角来看，正则化其实就是引入了关于参数的先验信息。
贝叶斯学派是假定参数服从某种分布，然后根据其分布利用积分的方法将其消除掉。这一过程叫边际化。边际化的过程其实恰好是正则化/泛化的过程。
可以证明，岭回归是w满足正态分布，lasso是当w满足拉普拉斯分布时候通过最大后验概率得到的估计结果。
# code
import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import Lasso,LassoCV,LassoLarsCV # Lasso回归,LassoCV交叉验证实现alpha的选取，LassoLarsCV基于最小角回归交叉验证实现alpha的选取
# ========Lasso回归========
model = Lasso(alpha=0.01) # 调节alpha可以实现对拟合的程度
# model = LassoCV() # LassoCV自动调节alpha可以实现选择最佳的alpha。
# model = LassoLarsCV() # LassoLarsCV自动调节alpha可以实现选择最佳的alpha
model.fit(X, y) # 线性回归建模
print('系数矩阵:\n',model.coef_)
print('线性回归模型:\n',model)
# print('最佳的alpha：',model.alpha_) # 只有在使用LassoCV、LassoLarsCV时才有效
# 使用模型预测
predicted = model.predict(X)
