Chapter1—线性模型

1. 基本形式

给定 $d$ 个属性描述的示例 $x=(x_{1},x_{2},\cdots,x_{d})$ ，线性模型试图学习一个通过线性组合来进行预测的函数，即
$f(x)=w_{1}x_{1}+w_{2}x_{2}+\cdots+w_{d}x_{d}+b$ 一般的向量形式写为
$f(x)=w^{T}x+b$ 其中 $w=(w_{1},w_{2}, \cdots, w_{d})$ , $w$ 和 $b$ 学得之后，模型就可以确定。

2. 线性回归

2.1 一元线性回归

给定数据集 $D=\{(x_{1},y_{1}),(x_{2},y_{2}),\cdots,(x_{m},y_{m}) \}$ 其中 $x_{i}=(x_{i1};x_{i2};\cdots;x_{id};),y_{i}\in \mathbb{R}$ ，线性回归试图学得一个线性模型尽可能准确地预测实值输出。

在回归任务中，我们试图最小化均方误差来学习回归模型中的参数 $w$ 和 $b$ ，即
$\begin{split} E_{(w,b)}=(w^{*},b^{*}) &=\mathop{\arg\min_{(w,b)}}\sum_{i=1}^{m}(f(x_{i})-y_{i})^{2} \\ &= \mathop{\arg\min_{(w,b)}}\sum_{i=1}^{m}(y_{i}-wx_{i}-b)^{2} \end{split}$ 均方误差的求解方法称为最小二乘法，最小二乘法试图找到一条直线，使得所有样本到直线上的欧氏距离最小。

如何求解 $w$ 和 $b$ 呢？即进行最小二乘参数估计，我们将均方误差函数分别对 $w$ 和 $b$ 求导，得到:
$\begin{split} &\frac{\partial E_{(w,b)}}{\partial w} =2(w\sum_{i=1}^{m}x_{i}^{2}-\sum_{i=1}^{m}(y_{i}-b)x_{i}) \\ &\frac{\partial E_{(w,b)}}{\partial b} =2(mb-\sum_{i=1}^{m}(y_{i}-wx_{i})) \end{split}$ 然后分别令上式为0得到 $w$ 和 $b$ 的最优解的闭式解：

2.2 多元线性回归

推广到更一般的情形，若有 $d$ 个属性描述，我们试图学到

类似地，可采取最小二乘法进行估计，不同的是这里需要对矩阵求偏导

分别对估计的参数 $w$ 和 $b$ 求偏导得到

在令导数等于0，求解 $w$ 时，我们需要讨论 $X$ 的秩的情况

3. 对数几率回归（Logistic回归）

上一节讨论了回归任务中的线性回归模型，若想做分类任务，该怎么办？只需要找到一个单调可微函数将分类的真实标记与线性模型的输出 $y$ 对应起来即可。

而上述阶跃函数是离散的，不可微的，难以进行参数估计，因此我们需要寻找一个单调可微的函数来近似阶跃函数，那就是 $Sigmoid$ 函数

进而，分类模型可以表示为

或

我们定义样本正例的可能性与反例可能性的比值为几率（logit）： $\frac{y}{1-y}$ ，对几率取对数后可以得到对数几率： $\ln\frac{y}{1-y}$

模型参数的估计：极大似然法

通过极大似然法来估计 $w$ 和 $b$ ，给定数据集 $D=\{(x_{1},y_{1}),(x_{2},y_{2}),\cdots,(x_{m},y_{m}) \}$ ，我们希望最大化每个样本属于其真实标签的概率：
$\mathop{\arg\max}_{w,b}\space L(w,b)=\prod_{i=1}^{m}p(y_{i}|x_{i};w,b)$ 两边取对数，从而有
$\begin{split} \mathop{\arg\max}_{w,b}\space \ln L(w,b)&=\sum_{i=1}^{m}\ln[p(y=1|x_{i};w,b)^{y=1}\cdot (1-p(y=1|x_{i};w,b))^{1-y_{i}}] \\ &= \sum_{i=1}^{m} y_{i}\ln [p(y=1|x_{i};w,b) +(1-y_{i}) \ln (1-p(y=1 | x_{i};w,b)) \end{split}$ 将 $p(y=1|x)=\frac{e^{w^{T}x+b}}{1+e^{w^{T}x+b}}$ 带入上式可得
$L(\beta)=\sum_{i=1}^{m}[y_{i}\beta^{T}x_{i}-\ln (1+e^{\beta^{T}x_{i}})]$ 其中， $\beta=(w;b),x=(x,1)$ 我们将其转换为最小化对数似然：
$\beta^{*}=\mathop{\arg\min}_{\beta}l(\beta)=\sum_{i=1}^{m}[-y_{i}\beta^{T}x_{i}+\ln (1+e^{\beta^{T}x_{i}})]$

于是，最优化函数为关于 $\beta$ 的高阶可导连续凸函数，根据凸优化理论，经典的数值优化方法如梯度下降法、牛顿法可以求的最优解，如

3. 线性判别分析LDA

线性判别分析是一种经典的线性学习方法，适合于二分类以及多分类问题。

LDA二分类示意图：

LDA最优化目标：

LDA的优化目标：最小化广义瑞利商

优化的求解：拉格朗日乘子法+奇异值分解法(有待学习)

(图片来源于《机器学习》-周志华)

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 159,835评论 4赞 364
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 67,598评论 1赞 295
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 109,569评论 0赞 244
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 44,159评论 0赞 213
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 52,533评论 3赞 287
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 40,710评论 1赞 222
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 31,923评论 2赞 313
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 30,674评论 0赞 203
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 34,421评论 1赞 246
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 30,622评论 2赞 245
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 32,115评论 1赞 260
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 28,428评论 2赞 254
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 33,114评论 3赞 238
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 26,097评论 0赞 8
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 26,875评论 0赞 197
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 35,753评论 2赞 276
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 35,649评论 2赞 271