决策树

1. 引言

决策树的学习通常包括三个步骤：特征选择，决策树的生成和决策树的修剪，本文梳理一下ID3，C4.5和CART. 首先给出决策树的算法流程框架，其次分别给出ID3，C4.5和CART特征选择的依据，最后讨论决策树的修剪。

2. 决策树算法框架

先给出分类决策树的算法流程框架。

算法：决策树生成算法TreeGrowth()
输入：训练集D，特征集A
输出：决策树T
1: if stoping_cond(D,A)=ture then //如果所有记录同属于一类
2: leaf = createNode() //创建一个结点，结点为一个测试条件node.test_cond或一个类标node.label
3: leaf.label=Classify(D) //*为叶结点确定类标，一般指派为具有最多数目记录的类别
4: return leaf //返回叶结点
5:else
6: root=createNode() //创建根节点
7: root.test_cond = find_best_split(D,A) //确定哪个属性作为划分训练记录的测试条件
8: 令V={v\|v是root.test_cond的一个可能的输出}
9: for 每个 $v \in V$ do
10: $D_v$ ={ $d$ \|root.test_cond( $d$ )=v并且 $d \in D$ } //将满足测试条件的数据 $d$ 并入子集 $D_v$
11: child=TreeGrowth( $D_v$ , $A$ ) //递归调用生成树算法TreeGrowth()，生成孩子结点
12: 将child作为root的派生结点添加到树中，并将边(root $\rightarrow$ child)标记为v
13: end for
14:end if
15:return root

2 特征选择依据

2.1 ID3算法

原则：选择信息增益最大的特征作为划分依据
信息增益：
输入：训练数据集 $D$ 和特征 $A$
输出：特征 $A$ 对训练数据集D的信息增益 $g(D,A)$ .
(1) 计算数据集 $D$ 的经验熵 $D$
$H(D)=-\sum_{j=1}^{K}\frac{|C_k|}{|D|}log_2\frac{|C_k|}{|D|}$
(2)计算特征 $A$ 对于数据集 $D$ 的条件熵 $H(D|A)$
$H(D|A)=\sum_{i=1}^{n}\frac{|D_i|}{|D|}H(D_i)=\sum_{i=1}^{n}\frac{|D_i|}{|D|}\sum_{k=1}^{K}\frac{|D_{ik}|}{|D_i|}log_2\frac{|D_{ik}|}{|D_i|}$
(3)计算信息增益 $g(D,A)$
$g(D,A)=H(D)-H(D|A)$

2.2 C4.5算法

原则：选择信息增益率最大的特征作为划分依据
信息增益率：
$g_R(D,A)=\frac{g(D,A)}{H_A(D)}$
其中， $H_A(D)$ 是数据集 $D$ 关于特征 $A$ 的熵，n是特征A取值的个数.
$H_A(D)=\sum_{i=1}^{n}\frac{|D_i|}{|D|}log_2\frac{D_i}{D}$

2.3 CART算法

原则：选择基尼指数最小的特征作为划分依据
基尼指数：
$Gini(D)=\sum_{k=1}^{K}p_k(1-p_k)=1-\sum_{k=1}^{K}p_k^2$
其中， $p_k$ 表示多分类问题中样本点属于第k类的概率。
二分类中:
$Gini(D)=2p(1-p)$
多分类中:
$Gini(D)=1-\sum_{k=1}^{K}(\frac{|C_k|}{|D|})$
其中，C_k是D中属于第k类的样本子集，K是类的个数

3 决策树的剪枝

未完待续

最后编辑于：2018.08.26 21:04:55

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 159,117评论 4赞 362
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 67,328评论 1赞 293
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 108,839评论 0赞 243
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 44,007评论 0赞 206
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 52,384评论 3赞 287
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 40,629评论 1赞 219
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 31,880评论 2赞 313
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 30,593评论 0赞 198
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 34,313评论 1赞 243
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 30,575评论 2赞 246
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 32,066评论 1赞 260
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 28,392评论 2赞 253
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 33,052评论 3赞 236
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 26,082评论 0赞 8
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 26,844评论 0赞 195
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 35,662评论 2赞 274
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 35,575评论 2赞 270

决策树