LR实现多分类
LR是一种传统的二分类模型，也可以做多分类模型，其实现思路如下：
- 将多分类模型拆分成多个二分类模型
- 分别训练二分类模型
- 将多个二分类模型进行集成，选取概率值最大的那个作为最终的分类结果
. logistic函数(sigmoid函数)
该函数常被用作神经网络的激活函数。
. LR的似然函数
需要选择合适的参数θ 使似然函数最大化
. LR 似然函数最大化，求出合适的参数θ
第一步： 对似然函数取对数
第二步： 利用梯度下降法来求参数 θ
第三步： 更新法则：
softmax 回归
. softmax函数的定义
softmax函数又称为归一化指数函数,是逻辑函数一种推广式，它能将一个含任意实数的K维向量z “压缩”到另一个K维实向量中，使得每一个元素都在(0,1)之间,所有元素的何为1。
. softmax函数表达式
softmax函数的表达式为：
其中，j = 1,2,...,K
. softmax函数的应用
Softmax函数实际上是有限项离散概率分布的梯度对数归一化。因此，Softmax函数在包括多项逻辑回归，多项线性判别分析、朴素贝叶斯分类器和人工神经网络等，多种基于概率的多分类问题方法中都有着广泛应用。
特别地，在多项逻辑回归和线性判别分析中，函数的输入是从K个不同的线性函数得到的结果，而样本向量x属于第j个分类的概率为：
. softmax的代价函数
类似于LR，其似然函数我们采用对数似然，故损失函数为：
加入L2正则项的代价函数：
. softmax的梯度求解
第一步： 对L2正则项求导
第二步： 对损失函数的梯度求解
-
求解损失函数
的梯度
-
为了使得求解过程简便且易于理解，下面先只对于一个样本（x,y）求梯度：
令
则
故
-
正则化之后的损失函数的梯度为：
通过梯度下降法最小化 J(θ),就能实现 softmax 回归模型。
LR 多分类与softmax的区别
- 若待分类的类别互斥，则用Softmax方法
- 若待分类的类别有相交，则用多分类LR，再通过投票表决
