×

机器学习 西瓜书 Day17 半监督学习

96
皇家马德里主教练齐达内
2018.05.25 21:31 字数 1382

p293 - p319
啊好困 = =
昨天倒是很早滚上床了
就是失眠了:)
大概也是三点多才睡着吧
所以今天也要努力早睡!
不废话了,进入第13章,但愿这章有意思点。

第13章 半监督学习

13.1 未标记样本

主动学习

拿少量数据训练一个模型,拿这个模型去挑瓜。然后询问瓜农这个瓜好不好。
这样挑少量的瓜,用很少量的专业知识就能获得不错的模型。
显然这样引入了额外信息

半监督学习

不依赖外界交互,自动利用未标记样本。

事实上,未标记样本虽然没有标记,但如果他们是和有标记样本是从同样的数据源独立同分布采样而来,那对训练是大有裨益的,因为可以获得和分布有关的信息。

常见的假设:聚类假设,流形假设(聚类假设的推广)。

纯半监督学习

利用有标记数据A与未标记数据B来预测其他的数据C

直推学习

利用有标记数据A与未标记数据B来预测未标记数据B

13.2 生成式方法

直接基于生成式模型的方法。
此类方法假设所有数据(无论有无标记)都是由同一个潜在的模型生成的。
未标记数据可以当做“缺失参数”

可基于EM算法进行求解。详细过程见p295 - 298

13.3 半监督SVM

半监督SVM,简称S3VM

若不考虑未标记样本,S3VM试图找到最大间隔划分超平面。

考虑未标记样本,S3VM试图找到能将两类有标记样本分开
且穿过数据低密度区域的划分超平面。
显然这里基于了“低密度分隔”假设

S3VM中最著名的是TSVM
TSVM试图考虑对未标记样本进行各种可能的标记指派,即尝试将样本都标起来,然后在所有结果中寻求一个在所有样本上间隔最大化的划分超平面。
超平面确定了,对应的指派的标记就是结果。
显然这样效率低,只适合数据量较少时。

TSVM采用局部搜索来迭代求解。
见p300 图13.4算法伪码

所以说半监督SVM研究的一个重点是如何设计出高效的优化求解策略,如基于图核函数梯度下降的LDS、基于标记均值估计的meanS3VM。

13.4 图半监督学习

一个数据集,可以映射成一个图。若两个样本之间相似度很高,那么节点间存在一条边,边的‘强度’正比于样本之间的相似度。
我们可将有标记样本所对应的节点视为染过色,未标记视为没染过色。
变成了一个颜色传播或扩散的过程。

定义高斯函数来决定边。
定义能量函数,能量函数最小化时得到最优结果。

算法详细过程见p301-304
算法伪码见p303 图13.5

考虑到有标记很少,未标记很多,容易过拟合。
可加入L2范数项。

13.5 基于分歧的方法

使用多学习器。
学习器之间的“分歧”是重点。

“协同训练”是重要代表。最初是针对“多视图”数据设计的。

一个数据对象往往同时拥有多个“属性集”,每个属性集就是一个“视图”。
如图像画面属性集、声音信息属性集。

假设不同视图具有相容性,即他们所预测的结果集是相同的。
这时如果同时考虑两个属性集,有时效果就很好。
比如画面+声音

假设数据独立且充分。
首先在每个视图上训练一个学习器。
然后让每个分类器挑出自己最有把握的未标记样本赋予“伪标记”
把伪标记样本拿去给其他学习器训练更新。
这样互相学习互相进步直至收敛。

过程看似简单,但若两个视图充分且独立,则精度可以任意高

协同训练本身是为多视图数据设计的,但后来也出现了能在单视图数据上使用的变体算法。

协同训练算法伪码 p306 图13.6

13.6 半监督聚类

聚类本身是无监督学习的代表,但现实中我们有时是有监督信息的。

监督信息大致两种类型:
1)“必连”与“勿连”约束。即有些必属于一个族、或必不属于一个族
2)少量有标记样本(指簇标记)。

针对第一种监督信息,约束k均值算法。即训练过程中保证约束。
伪码p307 图13.7

针对第二种监督信息,约束种子k均值算法

半监督是非常常用的思想。

Web note ad 1