美团机器学习实践第四章-模型融合总结

思维导图如下:

模型融合是一种有效提升机器学习效果的方法,通过构建并融合多个模型来完成学习任务。模型融合主要包含两个阶段:构建若干单模型和模型融合。

如果模型融合使用的单模型属于一类学习算法,这样的融合称为同质模型融合,如果模型融合使用多种不同的学习算法构建的单模型,这样的融合称为异质模型融合。

1、理论分析

1.1 融合收益

模型融合能够比单模型具有更强的泛化能力,主要有以下三个方面:
统计的角度:学习任务可能找出多个能够达到同等性能的假设空间,通过融合的方式来平均这些模型预测的结果,可以降低预测错误的风险
计算的原因:降低陷入局部极小点的风险
表示的原因:模型融合使得假设空间变大

1.2 模型误差-分歧分解

单模型准确性越高,多样性越大,则模型融合的表现越好。

1.3 模型多样性度量

模型多样性是模型融合和集成学习中一个比较重要的问题。比较典型的做法是考虑单模型的两两相似性或不相似性。总体上,模型多样性度量主要分为成对的多样性度量和非成对的多样性度量。

1.4 多样性增强

模型融合中单模型的多样性对性能有很大的提高,那么我们就应该尽量有效地生成多样性大的单模型。一般增强多样性的思路是在学习过程中引入随机性,常见的做法是对数据样本、输入属性、输出表示、算法参数进行扰动。

数据样本扰动:给定初始数据集,从中选出不同的数据子集,再利用不同的数据子集训练出不同的单模型。
输入属性扰动:选择不同的属性训练单模型
输出表示扰动:对输出表示进行操纵以增强多样性。主要有翻转法(随机改变训练样本标记)和输出调制法(将分类问题转变为回归输出来训练单模型)
算法参数扰动:模型训练一般要调配参数,如神经网络隐层节点数量、链接权值等。修改参数产生不同的模型,从而增加多样性。

2、融合方法

2.1 平均法

分简单平均法和加权平均法:

2.2 投票法

主要应用于分类问题。分类问题的输出有时候是分类标记,有时候是分类概率。
当输出是类别标记时,通常使用硬投票法,分为绝对多数投票法、相对多数投票法和加权投票法。对于输出为分类概率的,通常使用软投票法,即计算每个类别的加权概率。

2.3 Bagging

使用自助采样法采样T份数据,分别训练T个单模型,再进行融合。

2.4 Stacking

其基本思路是,通过一个模型来融合若干个单模型的预测结果,这里单模型称为一级模型,Stacking融合模型被称为二级模型。

Stacking先从初始的训练集训练出若干单模型,然后把单模型的输出结果作为样本特征进行整合,并把原始样本标记作为新数据样本标记,生成新的训练集。再根据新训练集训练一个新的模型,最后用新的模型对样本进行预测。

Stacking的过程如下图:

关于Stacking的详细原理和实现,参考:https://www.jianshu.com/p/3d2bd58908d0

推荐阅读更多精彩内容