# 机器学习系列（二十八）——sklearn中的Logistic回归与Logistic回归解决多分类

## Logistic回归正则化

sklearn中的Logistic回归是加入了正则化的，在sklearn中，加入了正则项的损失函数表达式为：

import numpy as np
import matplotlib.pyplot as plt
np.random.seed(666)
X=np.random.normal(0,1,size=(200,2))
y = np.array(X[:,0]**2 + X[:,1] < 1.5,dtype=int)

'''随机选20个强制为类别1,当作噪音'''
for _ in range(20):
y[np.random.randint(200)] = 1

plt.scatter(X[y==0,0],X[y==0,1])
plt.scatter(X[y==1,0],X[y==1,1])
plt.show()


from sklearn.pipeline import Pipeline
from sklearn.preprocessing import PolynomialFeatures
from sklearn.preprocessing import StandardScaler
def PolynomialLogisticRegression(degree):
return Pipeline([
('poly',PolynomialFeatures(degree=degree)),
('std_scaler',StandardScaler()),
('log_reg',LogisticRegression())
])

poly_log_reg = PolynomialLogisticRegression(degree=2)
poly_log_reg.fit(X_train,y_train)
poly_log_reg.score(X_train,y_train)


plot_decision_boundary(poly_log_reg,axis=[-4, 4, -4, 4])
plt.scatter(X[y==0,0],X[y==0,1],color='r')
plt.scatter(X[y==1,0],X[y==1,1],color='b')
plt.show()

2次L2决策边界

20次

20次决策边界

def PolynomialLogisticRegression(degree,C):
return Pipeline([
('poly',PolynomialFeatures(degree=degree)),
('std_scaler',StandardScaler()),
('log_reg',LogisticRegression(C=C))
])
'''正则化20次多项式'''
poly_log_reg3 = PolynomialLogisticRegression(degree=20,C=0.1)
poly_log_reg3.fit(X_train,y_train)

plot_decision_boundary(poly_log_reg3,axis=[-4, 4, -4, 4])
plt.scatter(X[y==0,0],X[y==0,1],color='r')
plt.scatter(X[y==1,0],X[y==1,1],color='b')
plt.show()


C=0.1，L2正则决策边界

def PolynomialLogisticRegression(degree,C,penalty='l2'):
return Pipeline([
('poly',PolynomialFeatures(degree=degree)),
('std_scaler',StandardScaler()),
('log_reg',LogisticRegression(C=C,penalty=penalty))
])
poly_log_reg4 = PolynomialLogisticRegression(degree=20,C=0.1,penalty='l1')
poly_log_reg4.fit(X_train,y_train)
plot_decision_boundary(poly_log_reg4,axis=[-4, 4, -4, 4])
plt.scatter(X[y==0,0],X[y==0,1],color='r')
plt.scatter(X[y==1,0],X[y==1,1],color='b')
plt.show()


L1决策边界

L1正则化下，虽然是20次多项式特征，但决策边界已与真实的决策边界相差无几，这也说明了L1正则化可以经过特征选择使得一些不重要的特征被剔除也就是系数为0。

## Logistic回归解决多分类

### OvR

OvR是One vs Rest的英文缩写，有些机器学习教材会叫OvA（One vs All），含义是一样的，sklearn中的称呼是OvR。什么是OvR呢，来看一个多分类例子：

4分类

### OvO

OvO是One vs One的英文缩写，什么意思呢？仍以上述4分类为例，我们仅挑出红与绿两个类别，首先针对这些数据做二分类，对于一个新来的样本判断它属于红还是绿。这样每两两组合就是一个二分类（4分类则有种），对于每个二分类问题，我们都判断一个新来的样本属于两个类中的哪一个类，最后判定类别计数最多的就是这个样本的最终预测类别。n个类别则要进行次分类，选择赢次最高的分类作为最终的分类结果。显然OvO方式比OvR方式更加消耗时间，不过可以证明，虽然更加消耗时间但OvO是更加准确的，这是因为每次我们处理的都是二分类而没有混淆其它类别的信息。

### sklearn中Logistic回归解决多分类

sklearn中Logistic分类器是默认封装了可以解决多分类任务的方法的，以鸢尾花数据集为例，鸢尾花数据共三个分类，下面用Logistic回归来解决这个三分类，为了可视化方便，首先还是只取前两个特征：

from sklearn import datasets
X = iris.data[:,:2]
y = iris.target
from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test = train_test_split(X,y,random_state=666)

from sklearn.linear_model import LogisticRegression
log_reg = LogisticRegression()
log_reg.fit(X_train,y_train)#multi_class = ovr


OvR准确率
plot_decision_boundary(log_reg,axis=[4,8.5,1.5,4.5])
plt.scatter(X[y==0,0],X[y==0,1])
plt.scatter(X[y==1,0],X[y==1,1])
plt.scatter(X[y==2,0],X[y==2,1])
plt.show()

OvR决策边界

log_reg2 = LogisticRegression(multi_class='multinomial',solver='newton-cg')
'''OvO方式求解不能再使用默认方式，要修改solver'''
log_reg2.fit(X_train,y_train)


OvO准确率
OvO决策边界

OvR方式

X = iris.data
y = iris.target
X_train,X_test,y_train,y_test = train_test_split(X,y,random_state=666)

log_reg = LogisticRegression()
log_reg.fit(X_train,y_train)
log_reg.score(X_test,y_test)


OvR准确率

OvR准确率

OvO方式下的准确率

OvO

OvO方式下准确率达到100%。

### sklearn封装的OvR与OvO

from play_Ml.LogisticRegression import LogisticRegression
log_reg = LogisticRegression()
from sklearn.multiclass import OneVsRestClassifier

ovr = OneVsRestClassifier(log_reg)#传入二分类器
ovr.fit(X_train,y_train)
ovr.score(X_test,y_test)

OvR准确率

OvO方式：

from sklearn.multiclass import OneVsOneClassifier

ovo = OneVsOneClassifier(log_reg)#传入二分类器
ovo.fit(X_train,y_train)
ovo.score(X_test,y_test)

OvO准确率