机器学习——逻辑回归

  线性回归用于处理因变量是连续量的预测问题,而逻辑回归是解决二分类的问题(逻辑回归名字叫“回归”其实解决的是分类问题)。逻辑回归的结果只有两种情况(0或1),那么为什么冠以“回归”的名称呢?

“逻辑回归”为什么叫“回归”?

  假设有一个“买车”问题,买车与否与一个人的收入有关系,收入多则买车,收入低就不会买车。假设一个人的收入与工龄、每周工作时间、支出等因素有关,这样收入的多少与工龄、工作时间、支出等可以看做一个线性回归问题Z=W^{^{T}}X。很显然是否买车与与工龄、每周工作时间、支出等因素有关却不能用一个线性的模型去模拟。买车与否在数学建模上来说本质上是一个(0, 1)问题。我们希望能有一个模型能帮我们实现从Z值到0, 1的转换。

图1、 sigmod函数.png
\phi(x)=\frac{1}{1+e^{x}}

  数学家们发现一个函数具有如图1所示的性质。则是sigmod函数,其能将实数转换在[0,-1]范围内。这样我们便可以将上面线性回归的结果
Z
作为sigmod函数的输入,sigmod函数的输出便是我们要的分类结果(“1”代表“买车”,“0”代表“不买车”)。便有下面的公式:
\phi(Z)=\frac{1}{1+e^{Z}} =\frac{1}{1+e^{W^{T}X}}

  这样便能实现对一个二分类问题进行建模与预测,因为其sigmod函数的输入运用的便是之前的线性回归的东西,所以这里叫“逻辑回归”。

寻找代价函数

为什么不能用误差函数作为代价函数

  建造逻辑回归的模型公式后,我们需要找一个惩罚函数或者说代价函数,以便来训练模型。这个我们可以试着用以前处理线性回归一样方法来找逻辑回归的代价函数,如下式:J(w)=\sum_{i}^{m}\frac{1}{2}(\phi (z^{(i)})-y^{i})^{2}  其中,z^{(i)}=w^{T}x^{i}+bi表示第i个样本点,y^{i}表示第i个样本点的真实值,\phi (z^{(i)})表示第i个样本的预测值。直接对上式求导求其最小值,最后会发现代价函数是一个关于w的非凸函数,如图2。这意味着其会有很多局部极小值,这不利于求解。

2.jpg

可行的代价函数

  换个思路,前面运用sigmod函数将问题最终转化为一个(0, 1)问题,其也可以看做是一个后验概率的估计p(y=1|x),即在y=1的情况下,x的分布。所以就有如下公式:p(y=1|x;w)=\phi (Z)=\phi (W^{T}X)
p(y=0|x;w)=1-\phi (Z)  其中,p(y=1|x;w)表示具有参数w的情况下,在x点,y=1的概率。上面的式子也可以写作如下的一般形式:p(y|x;w)=\phi (z)^{y}(1-\phi (z))^{(1-y)}   这个式子相当于是将上面两个式子合二为一,当y=1时,1-y=0则上式变为p(y|x;w)=\phi (Z),当y=0时,上式变为p(y=0|x;w)=1-\phi (Z)
  对于上面带有参数w的一般形式可以运用极大似然的思想进行理解,即:求一个W使X经过上面的运算最接近y。则上面式可以写为似然函数如下式:L(w)=\prod_{i}^{n}p(y^{i}|x^{i};w)=\prod_{i}^{n}(\phi z^{(i)})^{y^{i}}(1-\phi (z^{i}))^{()1-y^{i})}  为了简化可以两边取对数l(w)=log(L(w))=\sum_{i}^{m}y^{i}ln(\phi(z^{(i)}))+(1-y^{(i)}log(1-\phi (z^{(i)}))  上式是求W使\phi (z^{(i)})最接近y^{(i)},将上式取负(加负号)则是求最小值,这便是我们需要的目标函数,如下:J(w)=-l(w)=-\sum_{i}^{m}y^{i}ln(\phi(z^{(i)}))+(1-y^{(i)}log(1-\phi (z^{(i)}))  为了更好的理解代价函数,拿一个例子(其中的一项)来看一下:J(y,\phi (z);w)=\left\{\begin{matrix} -ln(\phi (z)) \qquad if \quad y=1\\ -ln(1-\phi (z)) \quad if \quad y=0 \end{matrix}\right.

3.jpg_副本.png

  从图中可以看出若样本的值是1,估计值越接近1,付出的代价越小,反之越大。同理,如果样本的值是0,估计值越接近0,付出的代价越少,反之越大。

利用梯度下降法求解

   sigmoid函数有一个很好的性质那就是:\phi{}' (z)=\phi (z)(1-\phi (z))
  梯度下降法的使用:w_{j}:=w_{j}-\alpha\frac{\partial J(w)}{\partial w_{j}}   其中,w_{j}表示第j个特征的权重,\alpha为学习率,用来控制步长,式中的梯度如下:\begin{align*} \frac{\partial J(w)}{\partial w_{j}} &=-\frac{\partial }{\partial x}\sum_{i}^{n}[y^{(i)}ln(\phi z^{(i)})+(1-y^{(i)})ln(1-\phi (z^{(i)}))]\\ &=-\sum_{i}^{n}[(y^{(i)}\frac{1}{\phi (z^{(i))}))}-(1-y^{(i)})\frac{1}{1-\phi (z^{(i)})})\phi{}' (z^{(i)})]\\ &=-\sum_{i}^{n}[(y^{(i)}\frac{1}{\phi (z^{(i))}))}-(1-y^{(i)})\frac{1}{1-\phi (z^{(i)})})\phi (z^{(i)})(1-\phi (z^{(i)}))]\\ &=-\sum_{i}^{n}[(y^{(i)}(1-\phi (z^{(i)}))-(1-y^{(i)})\phi (z^{(i)}))x_{j}]\\ &=-\sum_{i}^{n}[(y^{(i)}-\phi (z^{(i)}))x_{j}] \end{align*}
   在使用梯度下降算法更新权重时,可进行批量更新权重:w_{j}:=w_{j}+\alpha \sum_{i}^{n}[(y^{(i)}-\phi (z^{(i)}))x_{j}]  在数据样本较大的时候每次更新权重非常的消耗时间,这时可以采用随机梯度下降和小批量梯度下降法.

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 151,511评论 1 330
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 64,495评论 1 273
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 101,595评论 0 225
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,558评论 0 190
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,715评论 3 270
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,672评论 1 192
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,112评论 2 291
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,837评论 0 181
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,417评论 0 228
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,928评论 2 232
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,316评论 1 242
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,773评论 2 234
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,253评论 3 220
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,827评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,440评论 0 180
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,523评论 2 249
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,583评论 2 249

推荐阅读更多精彩内容