快速弄懂机器学习里的集成算法:原理、框架与实战(三)

3、结论集成方法

表示如何选择一种结合策略将个体学习器集合起来,形成强学习器,针对的是不同个体学习器的训练结果,我如何集成起来,获得最优结果。主要分为两大类:Boosting和Bagging,前者是基于训练集的学习误差来优化权重,从而提高学习性能,后者是通过对样本训练集反复抽样来提高学习器的性能,并衍生出很多算法。

(1) Boosting算法

基于boosting 的集成学习,不同的个体学习器是通过串行一步一步得到的。算法首先将每个训练样本初始化一个权重值,然后训练出第一个个体学习器,计算在训练集上的加权错误率,然后更新每个样本的权重,最后调整每个个体学习器的权重。使准确率比较高的个体学习器的权重较高,准确率比较低的基本学习期的权重较低。然后根据新的样本权重值,去训练下一个个体学习器,不断循环,直到达到指定个体学习器数目时,算法停止运行。 其流程图如下:

image

Boosting系列算法里最著名算法主要有AdaBoost算法和提升树(boosting tree)系列算法。提升树系列算法里面应用最广泛的是梯度提升树(Gradient Boosting Tree)、GBDT、XGBOOST等。

(2) Bagging算法

基于bagging 的集成学习,是通过不断的对训练样本集合做有放回的随机取样得到的。例如对训练集做M 次随机有放回抽样,那么我们可以得到M 个不同的训练集,对这M 个不同的训练集,我们构建一个模型去训练,这样就可以得到M 个不同的模型。最后再将这M 个模型的结果融合,得到最终的模型。其流程图如下:

Bagging算法最经典的就是随机森林算法。其基本思想就是构造很多棵决策树,形成一个森林,然后用这些决策树共同决策输出类别是什么。在整个随机森林算法的过程中,有两个随机过程,第一个就是输入数据是随机的从整体的训练数据中选取一部分作为一棵决策树的构建,而且是有放回的选取;第二个就是每棵决策树的构建所需的特征是从整体的特征集随机的选取的,这两个随机过程使得随机森林很大程度上避免了过拟合现象的出现。

image

4、集成学习算法实战应用

我们以手写数字识别案例为基础,探讨集成算法的综合应用。这里我们将分别采用kNN 和逻辑回归作为个体学习器,采用基本相对投票法作为结合策略,来验证集成学习在该问题上的效果。

1、Bagging 集成kNN 模型

基本原理: 我们采用了sklearn 中的BaggingClassifier 来实现集成学习算法,个体学习器采用了KneighborsClassifier,为了加速kNN 算法的运行,在存储训练集样本时,我们采用了kdTree 数据结构,来加速最近邻的查找。

结果分析:我们分别设置了bagging 参数T = 5,10,15,20 测试集上的准确率。最终的实验结果表明,当T =10 时,模型在测试集上的准确率达到95.3%。当采用单一的个体学习器kNN 时,模型的准确率为95.25%。虽然正确率只提高了0.05%,但是由于测试集样本数目较多,所以相对使用单一;的kNN 模型而言,性能还是提高了不少。

2、Bagging 集成逻辑回归模型基本原理:

我们采用了sklearn 中的Bagging Classifier 来实现bagging 算法, 个体学习器采用LogisticRegression,为了避免陷入过拟合,逻辑回归加入了L2 正则化项。并且分别设置了不同的bagging 参数,即个体学习器的数目T,观察不同的参数T,对结果的影响。结果分析:我们在测试过程中,分别设置了bagging参数T = 5,10,15,20 来观察不同的参数T,在测试集上的准确率。最终实验结果表明,当T = 20 时,模型在测试集上的准确率达到了90.6%。而在前面采用单一的逻辑回归进行学习时,在测试集上的准确率只有86.7%。

由此可见,在采用了基于bagging 的集成学习后,模型的泛化能力增强,性能提升,在测试集上的准确率得到了提高。当T 较小时,算法的运行时间较快,但是当T 较大时,由于需要生成多个个体生成器,所以算法的需要运行更长的时间。

根据具体的Minist 手写识别数据集实例,在该数据上分别采用了个体学习器kNN,个体学习器逻辑回归,bagging 集成kNN,bagging 集成逻辑回归。在测试集上分别取得了95.25%,86.7%,95.3%,90.6%。验证了在采用了基于bagging 算法的集成学习后,相对于使用单一的个体学习器而言,在测试集上的准确率都有了一定的提高,表现出了集成学习方法相对于单一模型学习方法的优异性。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 151,688评论 1 330
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 64,559评论 1 273
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 101,749评论 0 226
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,581评论 0 191
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,741评论 3 271
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,684评论 1 192
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,122评论 2 292
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,847评论 0 182
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,441评论 0 228
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,939评论 2 232
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,333评论 1 242
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,783评论 2 236
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,275评论 3 220
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,830评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,444评论 0 180
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,553评论 2 249
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,618评论 2 249

推荐阅读更多精彩内容