转自小象学院
我的学习笔记
1. 复习信息熵：熵，联合熵、条件熵、互信息
2. 决策树学习算法：信息增益 | ID3 | C4.5 |CART
3. Bagging与随机森林
决策树的总结
1. 决策树是一种树型结构，其中每个内部节点表示在一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。
2. 决策树学习是以实例为基础的归纳学习
3. 决策树学习采用的是自顶向下的递归方法，其基本思想是以信息熵为度量构造一颗熵值下降最快的树，到叶子节点处熵值为零，此处每个叶节点中的实例都属于同一类。
决策树学习算法的最大优点是，它可以自学习。在学习的过程中，不需要使用者了解过多的背景知识，只需要对训练实例进行较好的标注，就能够进行学习。
属于有监督学习
从一类无序、无规则的概念中推理出决策树表示的分类规则。
关于信息增益
概念：当熵和条件熵额概率由数据估计（特别是极大似然估计）得到时，相应的熵称为经验熵和经验条件熵
信息增益表示得知特征A的信息而使得类X的信息的不确定性减少的程度
信息增益的计算方法
三种决策树算法比较：
1. ID3: 使用信息增益/互信息g(D,A)进行特征选择
取值多的属性，更容易使数据更纯，其信息增益更大
训练得到的是一颗庞大且深度浅的树：不合理
2. C4.5：信息增益率 gr(D,A) = g(D,A) / H(A)
3. CART: 基尼指数
一个属性的信息增益（率）/gini指数越大，表明属性对样本熵减少的能力越强，这个属性使得数据由不确定性变成确定性的能力越强。
决策树的评价
假定样本总类别为K个
对于某叶节点，假定样本数目为n，其中第k类为nk
若nj = n，而n1...ni=0，则称纯结点
若n1=n2...=nk = n/K 则称该样本为均结点
纯结点的熵Hp=0，最小，均结点的熵Hu=lnK，最大
对所有的叶节点的熵求和，该值越小说明对样本的分类越精确，各个叶节点包含的样本数目不同，可使用样本数加权求熵和
评价函数，又称损失函数
决策树的过拟合
决策树对训练已知有很好的分类能力，但是对未知的测试数据却不一定，泛化能力弱，即可能发生过拟合现象。
解决方案：剪枝 | 随机森林
剪枝：
剪枝系数（跟学习率不同，不要误会）
