【机器学习基础】梯度提升决策树

引言

上一节中介绍了《随机森林算法》,该算法使用bagging的方式作出一些决策树来,同时在决策树的学习过程中加入了更多的随机因素。该模型可以自动做到验证过程同时还可以进行特征选择。
这一节,我们将决策树和AdaBoost算法结合起来,在AdaBoost中每一轮迭代,都会给数据更新一个权重,利用这个权重,我们学习得到一个g,在这里我们得到一个决策树,最终利用线性组合的方式得到多个决策树组成的G。

1. 加权的决策树算法(Weighted Decision Tree Algorithm)

在引言中介绍了,我们利用AdaBoost的思想,为数据赋予不同的权重,而在将要介绍的Adaptive Boosted Decision Tree中,要建立加权的决策树,所以接下来就要介绍它。
在之前含有权重的算法中,权重作为衡量数据重要性的一项指标,用来评估训练误差,如下面的公式所示:


上面的公式中,权重是包含在误差的公式中的,也就是说,我们想要构造一个带有权重的决策树算法,需要改造决策树的误差度量函数。然而换一个角度,权重也可以等效于数据的重复次数,重复次数越多的数据,说明其越重要。在广义的随机算法中,我们可以根据权重比例来进行随机采样(比如,如果权重比例是30%,那么采样该数据的概率就是30%),根据这种方式得到一组新的数据,那么这组新的数据中的比例大概就是和权重的比例呈正比的,也就是说它能够表达权重对于数据的意义。



在AdaBoost-DTree中,为了简单起见,我们不去改变AdaBoost的框架,也不去修改决策树的内部细节,而只是通过基于权重的训练数据的采样来实现。


1.1 弱决策树算法

在AdaBoost算法中,我们通过错误率εt来计算单个的g的权重αt,那么如果我们使用决策树作为g的时候,g是一个完全长成的树,该树对整个数据集进行细致的切分导致Ein=0,那么这使得εt=0,但计算得到的权重αt会变成无限大。
其意义是,如果使用一个能力很强的树作为g的话,那么该算法会赋予该树无限大的权重或票数,最终得到了一棵“独裁”的树(因为AdaBoost的哲学意义是庶民政治,就是集中多方的意见,及时有的意见可能是错误的),违背了AdaBoost的宗旨。

上面的问题出在使用了所有的数据和让树完全长成这两方面。针对这两个问题,我们要通过剪枝和部分训练数据得到一个弱一点的树。
所以实际上,AdaBoost-DTree是通过sampling的方式得到部分训练数据,通过剪枝的方式限制树的高度,得到弱一点的决策树。


1.2 AdaBoost-Stump

什么样是树才是弱决策树呢?
我们这里限制这棵树只有一层,即决策桩(Decision Stump)。这样我们需要让CART树的不纯度(impurity)尽可能低,学习一个决策桩。



所以,使用决策桩作为弱分类器的AdaBoost称为AdaBoost-Stump,它是一种特殊的AdaBoost-DTree。

2. AdaBoost深入解释和最佳化

我们回顾一下AdaBoost算法流程:


其中权重un(t+1)通过◆t对un(t)进行修正得到,由于◆t是一个大于1的数,对错误数据加大权重以让算法更加重视错分的数据。
我们可以用下面的方式来描述un(t+1):

下面的公式是我们将un(T+1)展开,我们看到图中橘色的部分∑αt·gt(xn)是G(x)中的分数,它出现在AdaBoost的权重的表达式中,我们称∑αt·gt(xn)为投票分数(voting score)。

所以,AdaBoost里面每一个数据的权重,和exp(-yn(voting score on xn))呈正比。

2.1 投票分数(Voting Score)和间隔(Margin)的关系

线性混合(linear blending)等价于将假设看做是特征转换的线性模型:


其中αt·gt(xn)如果换作是wT·φ(xn)可能就更清楚了,这与下面给出的在SVM中的margin表达式对比,我们可以明白投票分数∑αt·gt(xn)的物理意义,即可以看做是没有正规化的边界(margin)。

所以,yn(voting score)是有符号的、没有正规化的边界距离,从这个角度来说,我们希望yn(voting score)越大越好,因为这样的泛化能力越强。于是,exp(-yn(voting score))越小越好,那么un(T+1)越小越好。


AdaBoost在迭代过程中,是让∑un(t)越来越小的过程,在这个过程中,逐渐达到SVM中最大分类间隔的效果。

2.2 AdaBoost误差函数

上面解释到了,AdaBoost在迭代学习的过程,就是希望让∑un(t)越来越小的过程,那么我们新的目标就是最佳化∑un(T+1)


我们可以画出0/1错误和AdaBoost误差函数err(s,y) = exp(-ys)的函数曲线,我们发现AdaBoost的误差函数(称为exponential error measure)实际上也是0/1错误函数的上限函数,于是,我们可以通过最小化该函数来起到最佳化的效果。

2.3 AdaBoost误差函数的梯度下降求解

为了最小化AdaBoost的误差函数Ein,我们可以将Ein函数在所在点的附近做泰勒展开,我们就可以发现在该点的附近可以被梯度所描述,我们希望求一个最好的方向(最大梯度相反的方向),然后在该方向上走一小步,这样我们就可以做到比现在的函数效果好一点点,依次进行梯度下降,最终达到最小化误差函数的效果。


现在我们把gt当做方向,希望去找到这个gt(这里函数方向gt和上面介绍的最大梯度的方向向量没有什么差别,只是表示方式有所不同而已)。



我们解释一下上面的公式:

  • 我们需要找到一个新的函数,这里表示为h(xn)和步长η,将这个函数加入到表达式中去;
  • 我们将第一个公式中紫色的部分合起来,简化表示为权重un(t);
  • exp(-y·η·h(xn))在原点处做泰勒展开,得到(1-yn·η·h(xn))
  • 然后拆成两部分∑un(t)η·∑un(t)·yn·h(xn),第一部分是Ein,第二部分就是要最小化的目标。


我们对∑un(t)·yn·h(xn)整理一下,对于二元分类情形,我们把yn和h(xn)是否同号进行分别讨论:


上面的公式中,我们特意将∑un(t)·yn·h(xn)拆成-∑un(t)Ein(h)的形式,这里最小化Ein对应于AdaBoost中的A(弱学习算法),好的弱学习算法就是对应于梯度下降的函数方向。

2.4 最佳化步长η

我们要最小化Eada,需要找到好的函数方向gt,但是得打这个gt的代价有些大,梯度下降的过程中,每走一小步,就需要计算得到一个gt。如果转换一下思路,我们现在已经确定了好的gt,我们希望快速找到梯度下降的最低点,那么我们需要找到一个合适的最大步长η。

我们这里使用贪心算法来得到最大步长η,称为steepest decent for optimization。



让Eada对η求偏微分,得到最陡时候的ηt,我们发现这时ηt等于AdaBoost的αt。所以在AdaBoost中αt是在偷偷地做最佳化的工作。

2.5 小结

在第二小节中,我们从另外一个角度介绍了AdaBoost算法,它其实是steepest gradient decent。


上面的式子很清楚了,我们将AdaBoost的误差函数看做是指数误差函数,AdaBoost就是在这个函数上一步一步做最佳化,每一步求得一个h,并将该h当做是gt,决定这个gt上面要走多长的距离ηt,最终得到这个gt的票数αt。

3. 梯度提升(Gradient Boosting)

梯度提升是对AdaBoost的延伸,它不再要求误差函数是指数误差函数,而可能是任意一种误差函数(因为这里是用梯度下降法来最佳化误差函数,所以这里要求误差函数是平滑的)。



在这个架构下,我们就可以使用不同的假设和模型,来解决分类或者回归的问题。

3.1 梯度提升应用于回归问题

梯度提升应用于回归问题时,误差函数选中均方误差函数。


紧接着,我们对这个误差函数中变量s在sn处进行一阶泰勒展开的近似,我们发现要最小化的实际是∑h(xn)·2(sn-yn),要让该表达式最小,需要h(xn)(sn-yn)的方向相反:

要求解最佳化问题,需要h(xn)(sn-yn)的方向相反,而h(xn)的大小其实不是我们关系的问题,因为步长问题是由参数η决定的。
如果将h(xn)强制限制为1或者某个常数的话,那么就得到了一个有条件的最佳化问题,增加了求解的难度。不如我们将惩罚项h(xn)的平方放进最佳化式子中(意思是,如果h(xn)越大,我们就越不希望如此)。
我们可以将平方式子变换一下,得到有关(h(xn)-(yn-sn))^2的式子,所以我们要求一个带惩罚项的近似函数梯度的问题,就等效于求xn和余数(residual)yn-sn的回归问题。


确定步长η


我们现在确定了gt,接着我们要确定步长η,这里我们可以将误差函数写成余数(yn-sn)的形式,这是一个单变量的线性回归问题,其中输入是用gt转换后的数据,输出是余数(residual)。

4. 梯度提升决策树

综合第三小节的步骤,我们就可以得到梯度提升决策树的算法流程:


  • 在每一次迭代过程,解决一个回归问题,这里可以用CART算法来解{xn, (yn-sn)}的回归问题;
  • 然后,用gt做转换,做一个{gt(xn), yn-sn}的单变量线性回归问题;
  • 更新分数sn;
  • 经过T轮迭代,得到G(x)。
    这个GBDT算法可以看做是AdaBoost-DTree的回归问题版本。

参考资料

机器学习技法课程,林轩田,台湾大学
决策树模型组合之随机森林与GBDT
机器学习——Gradient Boost Decision Tree(&Treelink)

转载请注明作者Jason Ding及其出处
GitCafe博客主页(http://jasonding1354.gitcafe.io/)
Github博客主页(http://jasonding1354.github.io/)
CSDN博客(http://blog.csdn.net/jasonding1354)
简书主页(http://www.jianshu.com/users/2bd9b48f6ea8/latest_articles)
Google搜索jasonding1354进入我的博客主页

推荐阅读更多精彩内容

  • 注:题中所指的『机器学习』不包括『深度学习』。本篇文章以理论推导为主,不涉及代码实现。 前些日子定下了未来三年左右...
    我偏笑_NSNirvana阅读 37,481评论 11 142
  • 第二个Topic讲深度学习,承接前面的《浅谈机器学习基础》。 深度学习简介 前面也提到过,机器学习的本质就是寻找最...
    我偏笑_NSNirvana阅读 13,816评论 7 48
  • 链接:1. 线性回归总结2. 正则化3. 逻辑回归4. Boosting5. Adaboost算法 模型来源 提升...
    SUNFC阅读 737评论 0 0
  • 【作者】李佳璋 【导师】刘艳 袁浩 郑鹏 【导图解说】这幅导图是在听了学校老师的课后按要求画的英语语法笔记,下面我...
    导图学者阅读 128评论 0 0
  • 人生总会遇到好多好多事,而有些人选择不断的去逃避,有些人选择去坚信自己的内心。而那些逃避的人又会用各种各样的借口去...
    sasamiao阅读 53评论 0 0