线性回归与逻辑回归的联系

线性回归 (linear regression)

给定数据集\{(x_i, y_i)\}_{i=1}^m,其中x_i \in \mathbb{R}^ny_i \in \mathbb{R}。线性回归试图学得一个线性模型f(x_i) = w^Tx_i + b来尽可能好地拟合数据y_i

为了求解模型参数w, b,我们通常采用均方误差(mean squared error, MSE)损失函数:
L = \sum_{i=1}^m (y_i - w^Tx_i - b)^2
均方误差有非常好的几何意义,对应了常用的欧氏距离。
采用最小化均方误差来进行模型求解的方法就是最小二乘法,我们高中就接触过的方法,可求得w, b的解析解。

逻辑回归 (logistic regression)

在回归任务中,y_i\in \mathbb{R},是连续变量。而在分类任务中,y_i是离散变量,比如二分类 y_i \in \{0, 1\},因此我们需要找个单调可微的函数将线性回归的预测实值和分类任务的离散标签联系起来。

针对二分类任务,y_i \in \{0, 1\},线性回归模型的预测实值z_i = w^T x_i + b,为了将实值z_i映射到\{0, 1\},我们考虑利用
Sigmoid函数\sigma(x) = \frac{1}{1 + e^{-x}},即:

p_i =\sigma(z_i) = \sigma(w^Tx_i + b)

z_i>0时,p_i>0.5,预测标签为1
z_i<0时,p_i<0.5,预测标签为0

Sigmoid

Sigmoid函数值域为(0, 1),形似S曲线,可以方便将实值z_i转化为一个在0或1附近的值。

进一步地,我们将Sigmoid函数的输出p_i视为将样本预测为正类1的概率,即:
P(Y=1 | x_i) = p_i = \sigma(z_i) = \sigma(w^Tx_i + b)
P(Y=0 | x_i) = 1 - p_i

然后我们采用极大似然法来估计模型参数w, b
似然函数为
\prod_{i=1}^{m} p_i^{y_i} (1-p_i)^{1-y_i}
对数似然函数为
\sum_{i=1}^m [y_i\log{p_i} + (1-y_i)\log{(1- p_i)}]
等价于最小化loss为
L = \frac{1}{m}\sum_{i=1}^m - [y_i\log{p_i} + (1-y_i)\log{(1- p_i)}]
这就是交叉熵损失函数(Cross Entropy Loss Function)

更进一步地,我们将二分类任务的交叉熵损失函数扩展到多分类,假设总共分为C类,x_i \in \mathbb{R}^ny_i \in \mathbb{R}^C。则:

L = \frac{1}{m}\sum_{i=1}^m - [\sum_{j=1}^Cy_{ij}\log(p_{ij})]
y_{ij}表示第i个样本真实标签是否为j,当第i个样本属于第j类时,y_{ij}=1,否则y_{ij}=0p_{ij}表示第i个样本被预测为第j类的概率。

为了分析方便,我们令L_i = - [\sum_{j=1}^Cy_{ij}\log(p_{ij})],则当第i个样本的真实标签为c时,该项可简写为:

L_i = - [\log(p_{ic})]
L = \frac{1}{m}\sum_{i=1}^m L_i

两者关联

  1. 线性回归采用均方误差损失等价于极大似然。
    在逻辑回归中,求解模型参数我们采用的是极大似然估计法;而在线性回归中,求解模型参数我们采用了最小二乘法。
    但其实本质上,线性回归求解参数采用最小化均方误差等价于极大似然估计,证明如下:
    首先,我们将模型参数b也融入向量w中,可得线性回归采用均方误差损失函数为:
    L = \sum_{i=1}^m (y_i - w^Tx_i)^2
    我们假设预测值和真实值之间的误差\epsilon_i = y_i - w^T x_i服从标准正态分布,即\epsilon \sim N(0, 1),则有:
    P(Y=y_i | x_i) = P(\epsilon_i) = \frac{1}{\sqrt{2\pi}}e^{-\frac{\epsilon^2}{2}} = \frac{1}{\sqrt{2\pi}}e^{-\frac{(y_i-w^Tx_i)^2}{2}}
    所以,
    \log P(Y=y_i | x_i) = -\frac{(y_i-w^Tx_i)^2}{2} + const
    忽略常量const,
    L = -2 \sum_{i=1}^m \log P(Y=y_i | x_i)
    可以看出,最小化Loss等价于极大化似然。
  1. 逻辑回归也称对数几率回归几率(odds)的定义为将样本预测为正例的概率与样本预测为负例的概率的比值,因此对数几率定义为:
    \log \frac{p_i}{1 - p_i} = \log (e^{w^T x_i + b}) = w^T x_i + b
    可见在逻辑回归中,样本预测为正例的对数几率是输入x的线性函数,因此也称对数几率回归。
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 151,511评论 1 330
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 64,495评论 1 273
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 101,595评论 0 225
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,558评论 0 190
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,715评论 3 270
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,672评论 1 192
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,112评论 2 291
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,837评论 0 181
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,417评论 0 228
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,928评论 2 232
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,316评论 1 242
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,773评论 2 234
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,253评论 3 220
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,827评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,440评论 0 180
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,523评论 2 249
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,583评论 2 249

推荐阅读更多精彩内容