统计学习方法笔记之统计学习基础

更多文章可以访问我的博客Aengus | Blog

损失函数

（1）0-1损失函数
$L(Y, f(X)) = \left\{ \begin{align}1, Y \neq f(X) \\ 0, Y = f(X) \end{align} \right.$
（2）平方损失函数
$L(Y, f(X)) = (Y - f(X))^2$
（3）绝对损失函数
$L(Y,f(X)) = |Y - f(X)|$
（4）对数损失函数
$L(Y, f(X)) = - \log P(Y|X)$

经验风险与结构风险

经验风险（empirical risk）：
$R_{emp}(f) = \frac{1}{N}\sum^N_{i=1}L(y_i, f(x_i))$
结构风险（structural risk）:
$R_{sum}(f) = \frac{1}{N}\sum^N_{i=1}L(y_i, f(x_i)) + \lambda J(f)$
其中 $J(f)$ 为模型的复杂度，模型越复杂则 $J(f)$ 越大，复杂度表示了对复杂模型的惩罚度； $\lambda \geq 0$ 是系数，用以权衡经验风险和模型复杂度。结构风险小的模型往往对训练数据以及未知的测试数据都有较好的预测。

正则化与交叉验证

正则化和交叉验证都是模型选择方法。

正则化

正则化是结构风险最小化的策略实现，是在经验风险上加一个正则化项或者叫做罚项，正则化一般具有以下形式：
$\min_{f \in F} \frac{1}{N}\sum^N_{i=1}L(y_i, f(x_i)) + \lambda J(f)$
第一项为经验风险，第二项为正则化项， $\lambda$ 是调整两者之间的系数。模型越复杂，正则化值就越大。

交叉验证

交叉验证的思想是重复地使用数据。将数据进行划分，将划分后的数据集组合为测试集和训练集，在此基础上反复的进行训练、测试和模型选择。

（1）简单交叉验证：随机将数据集划分为训练集和测试集，然后在不同的条件下反复训练测试，进行模型选择；

（2） $S$ 折交叉验证：应用较多。随机将数据分为 $S$ 个互不相见、大小相同的子集，利用 $S-1$ 个进行训练，余下的子集测试，将这一过程对可能的 $S$ 种选择重复进行，最后选择平均测试误差最小的模型；

（3）留一交叉验证： $S$ 折交叉验证中的特殊情形： $S=N$ ， $N$ 为给定数据集的容量；

泛化能力

泛化能力指将模型应用到全新数据集的预测能力。

泛化误差：如果模型为 $\hat{f}$ ，那么用这个模型对未知数据预测的误差即为泛化误差：
$R_{exp}(\hat{f}) = E_P[L(Y, \hat{f}(X))] = \int_{X \times Y}L(y, \hat{f}(x))P(x, y)dxdy$
定理. 泛化误差上界：

对于二分类问题，当假设空间是有限个函数的集合 $F=\{ f_1, f_2, \dots, f_d \}$ 时，对任意一个函数 $f \in F$ ，至少以概率 $1 - \delta$ ，以下不等式成立：
$R(f) \leq \widehat{R}(f) + \varepsilon(d, N, \delta)$
其中，
$\varepsilon(d, N, \delta)=\sqrt{\frac{1}{2N} \log d + \log \frac{1}{\delta})}$

正态分布的极大似然估计与贝叶斯估计

（1）数据 $x_1,x_2, \dots, x_n$ 来自正态分布 $N(\mu, \sigma^2)$ ， $\sigma^2$ 已知，求 $\mu$ 的极大似然估计。

正态分布：
$(\mu, \sigma^2) = \frac{1}{\sqrt{2 \pi}\sigma }\exp(-\frac{(x - \mu)^2}{2 \sigma^2})$
其似然函数为：
$L(\mu, \sigma^2) = \prod^N_{i=1}\frac{1}{\sqrt{2 \pi}\sigma }\exp(-\frac{(x_i - \mu)^2}{2 \sigma^2})$
取对数：
$\ln L(\mu, \sigma^2) = - \frac{N}{2} \ln 2\pi - \frac{N}{2} \ln \sigma^2 - \frac{1}{2 \sigma^2} \sum^N_{i = 1}(x_i - \mu)^2$
对 $\mu$ 求导并令其等于0：
$\frac{\partial \ln L(\mu, \sigma^2)}{\partial \mu} = \frac{1}{\sigma^2} \sum^N_{i=1}(x_i - \mu) = 0$
求得 $\mu^* = \frac{1}{n}\sum^N_{i=1}x_i$ ；

（2）假设 $\mu$ 的先验概率是正态分布 $N(0, \tau^2)$ ，根据样本 $x_1,x_2, \dots, x_n$ 写出 $\mu$ 的贝叶斯估计。
$\begin{align} P(\mu|x_1, \dots, x_n) & = \frac{P(\mu, x_1, \dots, x_n)}{P(x_1, x_2, \dots, x_n)} \\ & =\frac{P(\mu)P(x_1|\mu)P(x_2|\mu)\dots P(x_n|\mu)}{\int P(\mu,x_1, \dots, x_n)d\mu} \\ & \propto \exp(- \frac{\mu^2}{2 \tau^2})\prod^N_{i=1}\exp(-\frac{(x_i-\mu)^2}{2 \sigma^2}) = L(\mu) \end{align}$

$\ln L(\mu) = -\frac{\mu^2}{2\tau^2} - \frac{\sum^N_{i=1}(x_i - \mu)^2}{2\sigma^2}$

令
$\frac{\partial \ln L(\mu)}{\partial \mu} = -\frac{\mu}{\tau^2} + \frac{\sum^N_{i=1}(x_i - \mu)}{\sigma^2} = 0$
得
$\hat{\mu} = \frac{\sum^N_{i=1}x_i}{N-\frac{\sigma^2}{\tau^2}}$

参考

李航《统计学习方法》（第二版）第一章

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 161,780评论 4赞 369
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 68,424评论 1赞 305
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 111,397评论 0赞 254
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 44,576评论 0赞 218
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 52,997评论 3赞 295
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 40,945评论 1赞 224
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 32,107评论 2赞 317
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 30,850评论 0赞 208
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 34,625评论 1赞 250
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 30,804评论 2赞 253
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 32,285评论 1赞 265
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 28,613评论 3赞 261
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 33,291评论 3赞 242
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 26,164评论 0赞 8
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 26,963评论 0赞 201
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 36,096评论 2赞 285
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 35,886评论 2赞 278