Logistic回归正则化

sklearn中的Logistic回归是加入了正则化的，在sklearn中，加入了正则项的损失函数表达式为：

其中L_i是超参数，可以指定使用L1正则还是L2正则。与我们在多项式回归中的正则项不同的是这里的系数C是乘在原损失函数上的，这其实与之前的正则化本质上是一样的，只是sklearn中J前面系数不可能是0，也就是说sklearn中Logistic回归是都进行了正则化的。
在模拟数据集上来使用一下sklearn中的Logistic回归，首先生成模拟数据集并加入噪音：

import numpy as np
import matplotlib.pyplot as plt
np.random.seed(666)
X=np.random.normal(0,1,size=(200,2))
y = np.array(X[:,0]**2 + X[:,1] < 1.5,dtype=int)

'''随机选20个强制为类别1,当作噪音'''
for _ in range(20):
    y[np.random.randint(200)] = 1

plt.scatter(X[y==0,0],X[y==0,1])
plt.scatter(X[y==1,0],X[y==1,1])
plt.show()

该数据集真实的决策边界是抛物线，图示如下：

数据图示

下面使用sklearn中的Logistic回归，加入二次多项式特征进行Logistic回归：

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import PolynomialFeatures
from sklearn.preprocessing import StandardScaler
def PolynomialLogisticRegression(degree):
    return Pipeline([
        ('poly',PolynomialFeatures(degree=degree)),
        ('std_scaler',StandardScaler()),
        ('log_reg',LogisticRegression())
    ])

poly_log_reg = PolynomialLogisticRegression(degree=2)
poly_log_reg.fit(X_train,y_train)
poly_log_reg.score(X_train,y_train)

默认参数

训练集准确率

测试集准确率

在sklearn中默认C=1，默认使用L2正则化，可以看到此时在训练集准确率为0.913，测试集准确率0.94。相应的决策边界（决策边界绘制函数plot_decision_boundary同上篇）：

plot_decision_boundary(poly_log_reg,axis=[-4, 4, -4, 4])
plt.scatter(X[y==0,0],X[y==0,1],color='r')
plt.scatter(X[y==1,0],X[y==1,1],color='b')
plt.show()

2次L2决策边界

当然可以修改超参数，加入20次多项式特征的Logistic回归：

20次

虽然准确率还不错，但其实20次多项式是过拟合的，只是这里数据有点少，从准确率上体现的不明显，不过决策边界可以一定程度上展示是否过拟合：

20次决策边界

这样的弯曲程度高的决策边界，显然是过拟合的。调整超参数C，来降低在20次情况下的过拟合现象，这里让C=0.1：

def PolynomialLogisticRegression(degree,C):
    return Pipeline([
        ('poly',PolynomialFeatures(degree=degree)),
        ('std_scaler',StandardScaler()),
        ('log_reg',LogisticRegression(C=C))
    ])
'''正则化20次多项式'''
poly_log_reg3 = PolynomialLogisticRegression(degree=20,C=0.1)
poly_log_reg3.fit(X_train,y_train)

plot_decision_boundary(poly_log_reg3,axis=[-4, 4, -4, 4])
plt.scatter(X[y==0,0],X[y==0,1],color='r')
plt.scatter(X[y==1,0],X[y==1,1],color='b')
plt.show()

此时的决策边界：

C=0.1，L2正则决策边界

过拟合程度明显减小了，和真实的决策边界也更加接近。再试一试在20次多项式特征上使用L1正则化进行Logistic回归：

def PolynomialLogisticRegression(degree,C,penalty='l2'):
    return Pipeline([
        ('poly',PolynomialFeatures(degree=degree)),
        ('std_scaler',StandardScaler()),
        ('log_reg',LogisticRegression(C=C,penalty=penalty))
    ])
poly_log_reg4 = PolynomialLogisticRegression(degree=20,C=0.1,penalty='l1')
poly_log_reg4.fit(X_train,y_train)
plot_decision_boundary(poly_log_reg4,axis=[-4, 4, -4, 4])
plt.scatter(X[y==0,0],X[y==0,1],color='r')
plt.scatter(X[y==1,0],X[y==1,1],color='b')
plt.show()

使用L1正则化下的决策边界：

L1决策边界

L1正则化下，虽然是20次多项式特征，但决策边界已与真实的决策边界相差无几，这也说明了L1正则化可以经过特征选择使得一些不重要的特征被剔除也就是系数为0。

Logistic回归解决多分类

前面的学习中我们知道Logistic回归本身只能解决二分类问题，不过一般所有的二分类算法都可以通过改进使之支持多分类。改进办法一般有OvR和OvO两种。

OvR

OvR是One vs Rest的英文缩写，有些机器学习教材会叫OvA（One vs All），含义是一样的，sklearn中的称呼是OvR。什么是OvR呢，来看一个多分类例子：

4分类

对于这个4分类问题，我们选取其中一类作为类别1，而剩下的类别都作为类别2，这样一来可以得到四个分类任务，对于每个分类任务，我们都可以用逻辑回归来计算一个新来的样本属于这里单个类别的概率，概率最大的就是这个样本最终的分类。于是n个类别也可以用二分类进行n分类了，不过这样做代价是巨大的，如果平均一个二分类模型耗时为T，则解决一个n分类问题需要耗时nT。

OvO

OvO是One vs One的英文缩写，什么意思呢？仍以上述4分类为例，我们仅挑出红与绿两个类别，首先针对这些数据做二分类，对于一个新来的样本判断它属于红还是绿。这样每两两组合就是一个二分类（4分类则有种），对于每个二分类问题，我们都判断一个新来的样本属于两个类中的哪一个类，最后判定类别计数最多的就是这个样本的最终预测类别。n个类别则要进行次分类，选择赢次最高的分类作为最终的分类结果。显然OvO方式比OvR方式更加消耗时间，不过可以证明，虽然更加消耗时间但OvO是更加准确的，这是因为每次我们处理的都是二分类而没有混淆其它类别的信息。

sklearn中Logistic回归解决多分类

sklearn中Logistic分类器是默认封装了可以解决多分类任务的方法的，以鸢尾花数据集为例，鸢尾花数据共三个分类，下面用Logistic回归来解决这个三分类，为了可视化方便，首先还是只取前两个特征：

from sklearn import datasets
iris = datasets.load_iris()
X = iris.data[:,:2]
y = iris.target
from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test = train_test_split(X,y,random_state=666)

from sklearn.linear_model import LogisticRegression
log_reg = LogisticRegression()
log_reg.fit(X_train,y_train)#multi_class = ovr

分类器

默认情况下Logstic采用OvR的方式进行多分类，此时分类准确率和决策边界为：

OvR准确率

plot_decision_boundary(log_reg,axis=[4,8.5,1.5,4.5])
plt.scatter(X[y==0,0],X[y==0,1])
plt.scatter(X[y==1,0],X[y==1,1])
plt.scatter(X[y==2,0],X[y==2,1])
plt.show()

OvR决策边界

下面换用OvO方式来对比一下。对于sklearn中的OvO方式要注意的是，参数并不是OvO，而是要指定multi_class为multinomial，而且solver参数也必须指定为newton-cg：

log_reg2 = LogisticRegression(multi_class='multinomial',solver='newton-cg')
'''OvO方式求解不能再使用默认方式，要修改solver'''
log_reg2.fit(X_train,y_train)

此时的准确率和决策边界：

OvO准确率

OvO决策边界

可以看到OvO方式的准确率明显要高于OvR，这也印证了OvO相比于OvR更加准确。不过这里为了可视化并没有使用全部的特征，接下来使用全部的特征来看一下它们的差距：
OvR方式

X = iris.data
y = iris.target
X_train,X_test,y_train,y_test = train_test_split(X,y,random_state=666)

log_reg = LogisticRegression()
log_reg.fit(X_train,y_train)
log_reg.score(X_test,y_test)

OvR准确率

OvR准确率

OvO方式下的准确率

OvO

OvO方式下准确率达到100%。

sklearn封装的OvR与OvO

实际上sklearn中单独封装了OvR和OvO，这样一来对于我们书写的二分类代码，只要符合sklearn的调用逻辑，也可以通过OvR和OvO的方式应用到多分类任务中。这里以我们写的Logistic回归为例在鸢尾花数据集上实验一下，首先是OvR方式：

from play_Ml.LogisticRegression import LogisticRegression
log_reg = LogisticRegression()
from sklearn.multiclass import OneVsRestClassifier

ovr = OneVsRestClassifier(log_reg)#传入二分类器
ovr.fit(X_train,y_train)
ovr.score(X_test,y_test)

OvR准确率

OvO方式：

from sklearn.multiclass import OneVsOneClassifier

ovo = OneVsOneClassifier(log_reg)#传入二分类器
ovo.fit(X_train,y_train)
ovo.score(X_test,y_test)

OvO准确率

同样可以得到很好的结果，而且OvO的准确率要高于OvR。