二元决策树的构建PPT课件.pptx

信号/本底二元决策树的构建;背景;1.1决策树法的基本思想; 决策树示意图 一般地，一个决策树由一个根节点n1 ,一组非终 止节点ni ,和一些终止节点（也称叶节点、叶子） tj 构成，每个叶节点标以相应的样本类别标签，不同的叶节点可以有相同的类别标签。; 二元决策树 决策树的一种简单形式是二叉树，二叉树结构的分类器可以把一个复杂的多类别分类问题化为多级、多个两类问题来解决，在每个节点都把样本集分为左右两个子集。分出的每个部分任然可能包含多个类别的样本，在下一级的节点，把每个部分再分为两个子集，依此进行，直到最后分出的每个部分只包含同一类别的样本，或某一类别样本占优势为止。 优点：概念简单、直观，便于解释。 在各个节点上可以选择不同的特征和采用不同的决策规则。; 二叉决策树示意图 ;1.2信号/本底二元决策树的构建; 当一个待分类的样本集输入决策树，则落入信号叶节点的事例被判定为“信号事例”，落入本底叶节点的事例被判定为“本底事例”。;1.3几个核心问题;1.3.1如何选取变量和分割值?; 为了生成一个简单的紧凑的二叉树，我们在每个节点寻找的分割率应该使得经过分割后到达下一级别的节点的数据尽可能的纯净，即使数据尽可能属于同一类。这里列出四种衡量节点中数据不纯程度的方法： 信息熵： 定义为 Gini指数： 定义为 误判误差： 定义为 统计显著性：定义为 以上几个量被称为（信号/本底）判别指数，用符号I表示。其中，nS ,nB 分别为输入该节点的信号和本底事例数；p为信号事例纯度，表达式为 ； ;;;终止条件; 以下给终止训练过程的几种方法: 法 1.设定一个最大的叶节点数，当训练过程已经形成的叶节点数等于大于该数值则训练停止。 法2.设定一个最小的事例数NL ，当输入事例数小于NL ，该节点的训练停止。 法3.当一个节点的 输入事例为同一类事例时，该节点的训练终止。 法 4. 根据所有节点的增量值来决定训练是否终止，当节点增量 满足 则该节点的训练终止。 1.3 p17 ;决策树结构的优化;预剪枝 ;;后剪枝;;;;;增量树学习;;应用举例;;总结;;参考文献;谢谢