决策树概念.docVIP

决策树 百科名片 HYPERLINK /image/0b907cd955793d1210df9b4e \o 查看图片 \t _blank HYPERLINK /image/0b907cd955793d1210df9b4e \t _blank 决策树 决策树一般都是自上而下的来生成的。每个决策或事件（即自然状态）都可能引出两个或多个事件，导致不同的结果，把这种决策分支画成图形很像一棵树的枝干，故称决策树。 目录 HYPERLINK /view/589872.html?wtp=tt \l 1#1 原理 HYPERLINK /view/589872.html?wtp=tt \l 2#2 应用 HYPERLINK /view/589872.html?wtp=tt \l 3#3 区别 HYPERLINK /view/589872.html?wtp=tt \l 4#4 缺点 HYPERLINK /view/589872.html?wtp=tt \l 5#5 评论 HYPERLINK /view/589872.html?wtp=tt \l 6#6 优势 HYPERLINK /view/589872.html?wtp=tt 编辑本段 原理 　　决策树提供了一种展示类似在什么条件下会得到什么值这类规则的方法。比如，在贷款申请中，要对申请的风险大小做出判断，图是为了解决这个问题而建立的一棵决策树，从中我们可以看到决策树的基本组成部分：决策节点、分支和叶子。 　　决策树中最上面的节点称为根节点，是整个决策树的开始。本例中根节点是“收入￥40,000”，对此问题的不同回答产生了“是”和“否”两个分支。 　　决策树的每个节点子节点的个数与决策树在用的算法有关。如CART算法得到的决策树每个节点有两个分支，这种树称为二叉树。允许节点含有多于两个子节点的树称为多叉树。 　　每个分支要么是一个新的决策节点，要么是树的结尾，称为叶子。在沿着决策树从上到下遍历的过程中，在每个节点都会遇到一个问题，对每个节点上问题的不同回答导致不同的分支，最后会到达一个叶子节点。这个过程就是利用决策树进行分类的过程，利用几个变量（每个变量对应一个问题）来判断所属的类别（最后每个叶子会对应一个类别）。 HYPERLINK /view/589872.html?wtp=tt 编辑本段 应用 　　假如负责借贷的银行官员利用上面这棵决策树来决定支持哪些贷款和拒绝哪些贷款，那么他就可以用贷款申请表来运行这棵决策树，用决策树来判断风险的大小。“年收入￥40,00”和“高负债”的用户被认为是“高风险”，同时“收入￥40,000”但“工作时间5年”的申请，则被认为“低风险”而建议贷款给他/她。 　　 HYPERLINK /view/7893.htm \t _blank 数据挖掘中决策树是一种经常要用到的技术，可以用于分析数据，同样也可以用来作预测（就像上面的银行官员用他来预测贷款风险）。常用的算法有CHAID、 CART、 Quest 和C5.0。 　　建立决策树的过程，即树的生长过程是不断的把数据进行切分的过程，每次切分对应一个问题，也对应着一个节点。对每个切分都要求分成的组之间的“差异”最大。 HYPERLINK /view/589872.html?wtp=tt 编辑本段 区别 　　各种决策树算法之间的主要区别就是对这个“差异”衡量方式的区别。对具体衡量方式算法的讨论超出了本文的范围，在此我们只需要把切分看成是把一组数据分成几份，份与份之间尽量不同，而同一份内的数据尽量相同。这个切分的过程也可称为数据的“纯化”。看我们的例子，包含两个类别--低风险和高风险。如果经过一次切分后得到的分组，每个分组中的数据都属于同一个类别，显然达到这样效果的切分方法就是我们所追求的。 　　到现在为止我们所讨论的例子都是非常简单的，树也容易理解，当然实际中应用的决策树可能非常复杂。假定我们利用历史数据建立了一个包含几百个属性、输出的类有十几种的决策树，这样的一棵树对人来说可能太复杂了，但每一条从根结点到叶子节点的路径所描述的含义仍然是可以理解的。决策树的这种易理解性对数据挖掘的使用者来说是一个显著的优点。 HYPERLINK /view/589872.html?wtp=tt 编辑本段 缺点 　　然而决策树的这种明确性可能带来误导。比如，决策树每个节点对应分割的定义都是非常明确毫不含糊的，但在实际生活中这种明确可能带来麻烦（凭什么说年收入￥40,001的人具有较小的信用风险而￥40,000的人就没有）。 　　建立一颗决策树可能只要对数据库进行几遍扫描之后就能完成，这也意味着需要的计算资源较少，而且可以很容易的处理包含很多预测变量的情况，因此决策树模型可以建立