Xgboost在做分类问题时拟合的是什么

https://www.zhihu.com/question/269929168?sort=created

作者:立言
链接:https://www.zhihu.com/question/269929168/answer/576574579
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

先说结论,拟合的是概率值。

XGBoost是GBDT的升级版,下面用GBDT来说明处理分类问题时,每一轮迭代的是什么。

XGBoost和GBDT均是基于CART回归树,对GBDT来说,当预测值为连续值时,计算预测值与真实值之间距离的平方和,均方误差(MSE)是最常用的回归损失函数,此时负梯度刚好是残差,当预测值为离散值,或者说处理分类问题时,拟合的也是‘负梯度’,只是要转一道弯。

这道弯是将预测值和真实值转换为类别的概率,迭代过程就是让预测概率不断接近真实概率。

对数损失logloss常用于评估分类器的概率输出,对数损失通过惩罚错误的分类,实现对分类器准确度(Accuracy)的量化。 最小化对数损失基本等价于最大化分类器的准确度。为了计算对数损失,分类器必须提供对输入的所属的每个类别的概率值,不只是最可能的类别。

下面以一个简单二分类为例,选取损失函数为logloss:

[图片上传失败...(image-e5c779-1587638268216)]

其中:

[图片上传失败...(image-9362bd-1587638268216)]

代入后可得:

[图片上传失败...(image-822803-1587638268216)]

负梯度在下图可见:

<noscript>
image

</noscript>

image

截图来源:Jerome H. Friedman的《Greedy Function Approximation:A Gradient Boosting Machine》

以一个简单的数据集来说明第一步和第二步拟合的是什么。

<noscript>
image

</noscript>

image

Yi的取值是0,1,其中0和1亦可以表示样本取正值的真实概率,第一步所有样本未分裂,是一个树桩,让损失函数最小,初始化可得:

[图片上传失败...(image-7c1107-1587638268216)]

= [图片上传失败...(image-15b72e-1587638268216)]

=0.088

第一棵树,当m=1时,计算负梯度 [图片上传失败...(image-c6b696-1587638268216)]

= [图片上传失败...(image-ce4b70-1587638268216)]

可得:

<noscript>
image

</noscript>

image

接着,会以 [图片上传失败...(image-cace9f-1587638268216)]

为目标,拟合一颗树。

推荐阅读更多精彩内容