决策树 学习笔记

96
喵_十八
2017.12.04 14:38* 字数 519

基本概念

算法杂货铺的这篇介绍说的比较生动详细

决策树算法原理(上) 对ID3、C4.5 的算法思想做了总结。介绍了两种算法的过程,以及优缺点。
ID3 构造决策树是基于信息增益最大的情况进行。主要存在如下问题:

  • ID3没有考虑连续特征,比如长度,密度都是连续值,无法在ID3运用。这大大限制了ID3的用途。
  • ID3采用信息增益大的特征优先建立决策树的节点。很快就被人发现,在相同条件下,取值比较多的特征比取值少的特征信息增益大。比如一个变量有2个值,各为1/2,另一个变量为3个值,各为1/3,其实他们都是完全不确定的变量,但是取3个值的比取2个值的信息增益大。如果校正这个问题呢?
  • ID3算法对于缺失值的情况没有做考虑
  • 没有考虑过拟合的问题
    C4.5 在ID3 的基础上进行了改进,解决以上问题
  • 连续的特征离散化
  • 引入信息增益比
  • 通过同类的数据加权计算缺失值,或 将缺失特征的样本按比例分给各个类。
  • 引入正则化系数

决策树算法原理(下) 在提出C4.5 的基础上,主要介绍了CART 算法,也是在sklearn 中使用的方法。介绍了CART 算法的过程以及剪枝过程。

三种方法对比

scikit-learn决策树算法类库使用小结 从实践角度来介绍决策树算法,介绍了重要参数的含义,调参注意点,以及结果可视化的一些内容。

决策树剪枝算法 介绍决策树的剪枝理论,避免guo
决策树 (Decision Tree) 进阶应用 CART剪枝方法及Python实现方式

机器学习
Web note ad 1