逻辑回归（Logistic Regression，LR）。在Kaggle竞赛的统计中，LR算法以63.5%的出产率，荣获各领域中“出场率最高的算法”这一殊荣。在实际场景中，逻辑回归同样应用广泛，大到国家各项经济政策的制定，小到计算广告CTR，都能看到LR算的身影。

除了应用广泛外，LR的建模过程还体现了数据建模中很重要的思想：对问题划分层次，并利用非线性变换和线性模型的组合，将未知的复杂问题分解为已知的简单问题。因此，我们可以说：理解好逻辑回归的细节，就掌握了数据建模的精髓。

1.1 线性回归能解决分类问题么？

其实，线性回归是不能解决分类问题的。因为我们在使用线性回归模型时，我们实际上做了3个假设（实际上有更多的假设，这里只讨论最基本的三个）：

[if !supportLists]·       [endif]因变量和自变量之间呈线性相关。

[if !supportLists]·       [endif]自变量与干扰项相互独立。

[if !supportLists]·       [endif]没被线性模型捕捉到的随机因素服从正态分布。

从理论上来说，任何数据放在任何模型里都会得到相应的参数估计，进而通过模型对数据进行预测。但是这并不一定能保证模型效果，有时会得到“错且无用”的模型，因此建模的过程中需要不断提出假设和检验假设。

1.2 用逻辑回归解决分类问题

有些算法，表面上叫“XX回归”，背地里却是解决分类问题的。

其原理是将样本的特征和样本发生的概率联系起来，即，预测的是样本发生的概率是多少。由于概率是一个数，因此被叫做“逻辑回归”。

在线性回归算法的例子中，我们进行房价预测得到的结果值，就是我们预测的房价，是一个数值。

但是我们在逻辑回归算法中，得到的预测值是一个概率，然后在概率的基础上多做一步操作，得到分类的结果。比如某银行使用逻辑回归做风控模型，先设置一个阈值0.5，如果得到它逾期的概率大于0.5，就不放款；否则就放款。对于“放款” or “不放款”来说，实际上是一个标准的分类问题。

通过这个小例子我们可以看到，在回归问题上再多做一步，就可以作为分类算法来使用了。逻辑回归只能解决二分类问题，如果是多分类问题，LR本身是不支持的。

对于线性回归来说，通过传递的自变量x来计算预测值：。其中实际上就是参数与样本的矩阵相乘，。那我们可不可以找到一组参数，与特征矩阵相乘，直接得到表示概率的结果呢？

单单从应用的角度来说，是可以的，但是并不好。这是因为线性回归得到值是没有限制的，值域从负无穷到正无穷的值。而对于概率来说，其值域为[0,1]，是有限制的。如果直接使用线性回归得到的结果，使得最终拟合的结果可信程度较差。

那么下面我们就看一看，逻辑回归背后的数学原理。

1.3 sigmoid函数与逻辑回归

在上一节我们得到了probit回归在数学上是比较完美的，但是正态分布的累积分布函数，其表达形式很复杂（复杂到懒得把公式写出来），且没有解析表达式。因此直接在probit回归上做参数估计是比较困难的。但是好在我们可以对其做近似，让其在数学上更加简洁。

此时，神奇的数学家们发现：正态分布在线性变换下保持稳定，而逻辑分布可以很好地近似正态分布。因此可以使用标准逻辑分布的累积分布函数来替换正态分布的累积分布函数。

标准逻辑分布的概率密度函数为，对应的积累分布函数为：

[if !vml]

[endif]

在学术界被称为sigmoid函数，是在数据科学领域，特别是神经网络和深度学习领域中非常重要的函数！。其图像如下图所示，呈S状，因此也被称为“S函数”。当t趋近于正无穷时，趋近于0，则趋近于1；当t趋近于负无穷时，趋近于正无穷，则趋近于0。因此该函数的值域为(0,1)。

1.4 从对数几率看逻辑回归

逻辑回归假设数据服从伯努利分布，通过极大似然函数的方法，运用梯度下降来求解参数，来达到将数据二分类的目的。

逻辑回归是一个非线性模型，但是是其背后是以线性回归为理论支撑的。

提出一个与线性模型长相类似但不同的新公式：假设特征X所对应的y值是在指数上变化，那么就可以将结果y值取对数，作为其线性模型逼近的目标。也就是所谓的“对数线性回归”：

在“对数线性回归”的公式中，可以改写为 。实际上是在求输入空间X到输出空间y的非线性函数映射。对数函数的作用是将线性回归模型的预测值与真实标记联系起来。

因此可以得到一个一般意义上的单调可微的“联系函数”：。其本质就是给原来线性变换加上一个非线性变换(或者说映射)，使得模拟的函数有非线性的属性，但本质上调参还是线性的，主体是内部线性的调参。

那么对于解决分类问题的逻辑回归来说，我们需要找到一个“联系函数”，将线性回归模型的预测值与真实标记联系起来。

可以看出，sigmoid实际上就是用线性回归模型的预测结果取逼近真实值的对数几率，因此逻辑回归也被称为“对数几率回归”。

1.5 逻辑回归的损失函数

逻辑回归的损失函数当然不是凭空出现的，而是根据逻辑回归本身式子中系数的最大似然估计推导而来的。

最大似然估计就是通过已知结果去反推最大概率导致该结果的参数。极大似然估计是概率论在统计学中的应用，它提供了一种给定观察数据来评估模型参数的方法，即“模型已定，参数未知”，通过若干次试验，观察其结果，利用实验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。

1.6 损失函数的梯度

逻辑回归的损失函数当然不是凭空出现的，而是根据逻辑回归本身式子中系数的最大似然估计推导而来的。

最大似然估计就是通过已知结果去反推最大概率导致该结果的参数。极大似然估计是概率论在统计学中的应用，它提供了一种给定观察数据来评估模型参数的方法，即 “模型已定，参数未知”，通过若干次试验，观察其结果，利用实验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。

逻辑回归是一种监督式学习，是有训练标签的，就是有已知结果的，从这个已知结果入手，去推导能获得最大概率的结果参数，只要我们得出了这个参数，那我们的模型就自然可以很准确的预测未知的数据了。

[if !vml]

[endif]

[if !vml]

[endif]