逻辑回归(上)

MachineLearninginMarketing

逻辑回归
- 逻辑回归的重要性

逻辑回归

使用线性回归来解决分类问题，也是我个人碰到的第一个难懂的模型。之前我们一直注重代码实现而总是忽略其背后的原理和算法。机器学习不同与写 web 和服务，这些可能更注重实现，了解业务和计算机原理。而机器学习更注重的是其背后算法，只有了解其背后原理我们在能够设计出合理模型来解决问题。随后通过调整参数来调试我们模型来解决问题。

逻辑回归的重要性

逻辑回归是深度学习的基础，通常来说深度学习对于我们来说是一个黑盒模型，有时候并不能完全了解其。我们知道在神经元就是将线性变换转换为非线性变换。其实这些知识点我们都可以在逻辑回归中找到。逻辑回归的本质就是将线性回归通过非线性函数。

二项逻辑回归

二项逻辑回归是一个函数，最终输出 0 到 1 之间的值，可以解决类似"成功或失败","是否存在"或是"通过或拒绝"等类似的问题
逻辑回归是一个把线性回归问题模型映射为概率模型，即把实数空间输出 $[- \infty,+\infty]$ 映射到(0,1),从而获得概率。
对于一元线性方程模型可以表示为 $\hat{y} = wx + b$ 其中 b 为截距通过改变 b 值可以上下或左右移动直线，w 改变直线斜率。
定义二元一次线性模型 $\hat{y} = \theta_1 x_1 + \theta_2 x_2 + b$ 我中 $\hat{y}$ 取值范围在 $[- \infty,+\infty]$ 我们可以通过逻辑回归将 $(-\infty,+\infty)$ 映射到 $[0,1)$ 区间

概率和odds的定义

概率

概率是事件发生次数/总次数，这个很好理解。
$p = \frac{事件(正例样本)发生次数}{总次数} p \in [0,1]$

odds

$\frac{正例样本数量}{负例样本数量} odds \in [0,\infty)$

伯努利分布

简单地回顾一下伯努利分布，X 是伯努利分布中的随机变量，X 取值为 $\{ 0,1 \}$ ，那么我看一看概率情况
$\begin{aligned} P(X=1) = p \\ P(X=0) = 1 - p \end{aligned}$
伯努利公式也可以写出 $p^k(1-p)^{(1-k)}$
$odds = \frac{p}{1-p} odds \in [0,+\infty)$

sigmoid 函数及特性

对于 $\frac{p}{1 - p}$ 取 log 那么就得到 $\log \frac{p}{1 - p}$ 函数输出就从0 到 1 就变为到 $[-\infty,+\infty]$ 现在可以用 $\log \frac{p}{1-p}$ 来等价于上面定义二元一次方程 $\theta_1 x_1 + \theta_2 x_2 + b$

$\begin{aligned} \log \frac{p}{1 - p} = z \\ \theta_1 x_1 + \theta_2 x_2 + b = z \\ e^z = \frac{p}{1-p} \\ (1-p) e^z = p \\ e^z = p + p e^z \\ e^z = p + p e^z \\ p = \frac{e^z}{1+e^z} \\ p = \frac{1}{\frac{1}{e^z}+1} \\ p = \frac{1}{e^{-z}+1} \end{aligned}$

上面经过一系列的推导就得到了这个 $p = \frac{1}{e^{-z}+1}$ 大家熟悉的 sigmoid 方程。也就是将一个实数空间的解映射成概率，类似于神经元激活函数。
我们都知道正是最大似然估计推动机器学习的发展，那么今天我们来看一看最大似然估计是如何在逻辑回归中发挥其作用的。
我们其实总是能够得到样本数据，样本数据的属性通常会服从正太分布, $\mu,\sigma$ 均值和方差决定数据形态，那么如果我们知道类别的概率分布也就是 $\mu,\sigma$ ，再得到新的样本点，就可以根据概率分布来判断他是某一个类别的概率是多少从而判断他是什么类别。

最大似然估计就是找到符合样本数据概率分布的 $\mu,\sigma$ 然后我们根据这些来进行推断。

似然函数

$\begin{aligned} L(\theta|x) = P(Y| X;\theta) \\ = \prod_i^m P(y_i|x_i;\theta) \\ = \prod_i^m h_{\theta} (x_i)^{y_i}(1 - h_{\theta}(x_i))^{(1-y_i)} \end{aligned}$

其中 i 为每一个数据样本，共有 m 个数据样本，最大似然估计的目的就是让上面式子的输出尽量可能大;对上面式子取 log 是为了方便计算，因为取log可以把乘积运算转换为加法，而且不影响优化目标。
$L(\theta|x) = P(Y| X;\theta) = \sum_{i=1}^m y_i \log(h_{\theta}(x_i)) + (1-y_i) \log(1-h_{\theta}(x_i))$
对于似然函数我们是让越大越好，不过我们计算损失函数希望计算损失函数时候希望是一个求最小值的问题，加一个负号就变成求最小问题。然后求导数就可以找到这函数的最最小值
$J(\theta) = -\sum_i^m Y \log(\hat{Y}) - (1 - Y) \log (1 -\hat{Y})$

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 158,425评论 4赞 361
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 67,058评论 1赞 291
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 108,186评论 0赞 243
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 43,848评论 0赞 204
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 52,249评论 3赞 286
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 40,554评论 1赞 216
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 31,830评论 2赞 312
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 30,536评论 0赞 197
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 34,239评论 1赞 241
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 30,505评论 2赞 244
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 32,004评论 1赞 258
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 28,346评论 2赞 253
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 32,999评论 3赞 235
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 26,060评论 0赞 8
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 26,821评论 0赞 194
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 35,574评论 2赞 271
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 35,480评论 2赞 267