在讲如何通过树模型做特征工程之前，首先让我们回顾一下一个机器学习（除去深度学习项目部分）项目的大致流程：

• 从业务场景中抽象出问题——分类问题，回归问题，还是聚类问题等，
• 接下来是数据获取，数据清洗，探索性数据分析(EDA)等数据预处理方面的工作，
• 然后就是特征工程（Feature Engineering），这部分需要人工对数据进行理解，采取一些手动或者自动的方法，挖掘出重要的特征或者一些有联系的组合特征，这一步在机器学习项目中极其关键，
• 选择和应用场景以及数据类型相符合的机器学习模型，调参数，模型融合，提升模型性能效果。
• 上线，同时监测模型线上效果，并不断优化模型。

好的特征工程意味着一个机器学习项目成功了一大半，笔者曾经参加过一些网上的数据分类大赛，比赛群里天天讨论的就是如何发现"强特"（很强的特征），而且最终成绩好的参赛选手都是根据业务场景抽取出了很多重要的特征或者特征组合。

GBDT + LR 原理部分

今天笔者并不会介绍如何去在某个数据中发现"强特"，而是介绍一种偷懒的方式，采用树模型帮助我们做特征工程。而这种思想是在2014年有facebook提出，当时主要是为了解决广告预估问题(CTR),论文名为Practical Lessons from Predicting Clicks on Ads atFacebook，主要内容就是：

• 1. 将原始的数据通过梯度提升树（GBDT）进行拟合，然后就可以得到一颗已经非常了解样本数据的树。
• 2.然后再将训练数据通过（GBDT），这样每一个数据输入书模型会得到一些叶子节点，如下图所示，这颗树有5个叶子节点，这样就可以构建一个5维的向量[0,0,0,0,0]，叶子节点有值的地方为1，这样就可以得到一个5维transformed的特征。

• 3.再将树模型的叶子节点特征输入给Logistics Regression算法。

  
  
  GBDT+LR
  
  

  当然你也可以将树模型叶子节点的特征和原始数据的特征进行拼接后再喂给后续的Logistics Regression算法。
  而这种算法架构以下两点优势：

• 树模型叶节点出来的特征，有点类似于神经网络对特征做了一些非线性变换，
• 树模型能够帮助我们挖掘一些重要特征，以及重要的特征组合，大家可以试想一下，树模型上到叶节点的每一条路径就是一种特征组合。

一句话解释就是，树模型帮我们做了特征的非线性变换+特征组合。

实战部分

数据准备

载入必要的python包。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.ensemble import GradientBoostingClassifier as GBDT
from sklearn.ensemble import RandomForestClassifier as RF
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import OneHotEncoder
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_auc_score

首先随机生成8000个数据，这里我们将数据分层三份：

• 一份用于训练挖掘特征的树模型（X_train,y_train），
• 一份用于训练LR(X_train_lr,y_train_lr)，
• 一份用于做测试(X_test,y_test)。

x,y = make_classification(n_samples=8000)
X_train, X_test, y_train, y_test = train_test_split(x, y, test_size=0.5)
X_train, X_train_lr, y_train, y_train_lr = train_test_split(X_train, y_train, test_size=0.5)

接下来笔者做了四个实验，分别是：

• 只使用随机森林叶节点特征训练LR，
• 使用随机森林叶节点特征和原始特征拼接训练LR，
• 只使用GBDT叶节点特征训练LR，
• 使用GBDT叶节点特征和原始特征拼接训练LR。

随机森林 + LR

构造随机森林树模型，并训练树模型:

rf = RF(n_estimators=10,max_depth=3)
rf.fit(X_train,y_train)

使用训练好的树模型构造特征，使用RandomForestClassifier自带的apply接口可以很轻松的拿到叶子节点的ID，然后通过OneHotEncoder对叶子节点的ID进行onehot编码就可以构造出叶子节点特征了。

print("原始特征的形状",X_train_lr.shape)
rf_enc = OneHotEncoder()
rf_feature_leaf = rf.apply(X_train_lr)
rf_onehot_encode = rf_enc.fit(rf_feature_leaf)
rf_onehot_feature = rf_onehot_encode.transform(rf_feature_leaf)
rf_onehot_feature = rf_onehot_feature.toarray()
print("随机森林叶子特征的形状：",rf_onehot_feature.shape)
rf_final_fea = np.hstack([rf_onehot_feature,X_train_lr])
print("特征拼接后的形状：",rf_final_fea.shape)

从下图我们可以得知，从随机森林叶节点出来的是一个77维的特征。

image.png

只使用随机森林叶节点特征(rf_encode+lr)

这里训练LR时只使用77维的随机森林的叶子节点特征。

lr = LogisticRegression()
lr.fit(rf_onehot_feature,y_train_lr)

将测试数据转化为叶节点特征，然后进行模型测试，输出AUC得分。

rf_onehot_fea_test = rf_onehot_encode.transform(rf.apply(X_test))
rf_onehot_fea_test = rf_onehot_fea_test.toarray()
pred_y = lr.predict_proba(rf_onehot_fea_test)[:,1]
roc_auc_score(y_test,pred_y)

随机森林叶节点特征和原始特征拼接(rf_encode+origin_feature+lr)

这一步训练LR使用的是一个97维的特征，由77维的叶子节点特征和原始的20维的特征拼接形成。

lr_1 = LogisticRegression()
lr_1.fit(rf_final_fea,y_train_lr)

将测试数据转化为97维的特征，然后进行模型测试，输出AUC得分。

rf_onehot_fea_test = rf_onehot_encode.transform(rf.apply(X_test))
rf_onehot_fea_test = rf_onehot_fea_test.toarray()
final_test = np.hstack([rf_onehot_fea_test,X_test])
pred_y = lr_1.predict_proba(final_test)[:,1]
roc_auc_score(y_test,pred_y)

梯度提升树 + LR

构造梯度提升树模型，并训练树模型:

gbdt = GBDT(n_estimators=10)
gbdt.fit(X_train,y_train)

使用训练好的树模型构造特征：

print("原始特征的形状:",X_train_lr.shape)
gbdt_enc = OneHotEncoder()
gbdt_feature_leaf = gbdt.apply(X_train_lr)[:,:,0]
gbdt_onehot_encode = gbdt_enc.fit(gbdt_feature_leaf)
gbdt_onehot_feature = gbdt_onehot_encode.transform(gbdt_feature_leaf)
gbdt_onehot_feature = gbdt_onehot_feature.toarray()
print("梯度提升树的叶子特征形状：",gbdt_onehot_feature.shape)
gbdt_final_fea = np.hstack([gbdt_onehot_feature,X_train_lr])
print("特征拼接后的形状：",gbdt_final_fea.shape)

从下图我们可以得知，从GBDT叶节点出来的是一个72维的特征。

image.png

只使用GBDT叶节点特征(gbdt_encode+lr)

只使用72维的GBDT叶子节点特征训练LR。

lr_2 = LogisticRegression()
lr_2.fit(gbdt_onehot_feature,y_train_lr)

将测试数据转化为72维的叶节点特征，然后进行模型测试，输出AUC得分。

gbdt_onehot_fea_test = gbdt_onehot_encode.transform(gbdt.apply(X_test)[:,:,0])
gbdt_onehot_fea_test = gbdt_onehot_fea_test.toarray()
pred_y = lr_2.predict_proba(gbdt_onehot_fea_test)[:,1]
roc_auc_score(y_test,pred_y)

GBDT叶节点特征和原始特征拼接(gbdt_encode+origin_feature+lr)

使用的是一个92维的拼接特征训练LR。

lr_3 = LogisticRegression()
lr_3.fit(gbdt_final_fea ,y_train_lr)

将测试数据转化为92维的拼接特征，然后进行模型测试，输出AUC得分。

gbdt_final_test = np.hstack([gbdt_onehot_fea_test,X_test])
pred_y = lr_3.predict_proba(gbdt_final_test)[:,1]
roc_auc_score(y_test,pred_y)

实验结果

笔者也做了最原始特征直接训练LR模型的实验，经过多次重复实验之后，最终性能的对比如下图所示：

实验结果

而这个实验结果表明：

• 树模型叶节点特征确实比原始特征要好，
• 叶子节点和原始特征拼接后的组合特征有着最好的表现，
• GBDT的叶子节点特征要强于随机森林叶节点特征。

结语：

特征工程是一门很深的学问，我们通过上述实验学习到如何通过树模型去自动帮我们做特征工程，但是必须注意的树模型的特征远远达不到神经网络自动提取特征那样功效，所以树模型叶节点的特征还是属于特征工程的范畴，如果你做机器学习项目时不知道如何寻找特征，试试使用树模型（GBDT，Xgboost，RandomForest等）帮你构造特征吧。

参考文献

Practical Lessons from Predicting Clicks on Ads atFacebook