决策树分类算法.docVIP

1就是一棵典型的决策树 1就是一棵典型的决策树 决策树分类算法 决策树是一种用来表示人们为了做出某个决策而 进行的一系列判断过程的树形决策树方法的基本 进行的一系列判断过程的树形 决策树方法的基本 思想是：利用训练集数据自动地构造决策树，然后根 据这个决策树对任意实例进行判定。 1.决策树的组成 决策树的基本组成部分有：决策节点、分支和叶, 树中每个内部节点表示一个属性上的测试，每个叶节 点代表一个类 1决策树 决策树的每个节点的子节点的个数与决策树所使 用的算法有关。例如，CART算法得到的决策树每个 节点有两个分支，这种树称为二叉树。允许节点含有 多于两个子节点的树称为多叉树。 下面介绍一个具体的构造决策树的过程，该方法是以信息论原理为基础，利用信息论中信息增益寻找 :据库中具有最大信息量的字段，建立决策树的一个 节点，然后再根据字段的不同取值建立树的分支，在 每个分支中重复建立树的下层节点和分支。 ID3算法的特点就是在对当前例子集中对象进行 分类时，利用求最大熵的方法，找出例子集中信息 量(熵)最大的对象属性，用该属性实现对节点的 划分，从而构成一棵判定树。 首先，假设训练集C中含有P类对象的数量为p， N类对象的数量为n，则利用判定树分类训练集中的 对象后，任何对象属于类P的概率为p/(p+n)，属于 类N的概率为n/(p+n)。 当用判定树进行分类时，作为消息源“P”