决策树简化(剪切)方法综述教案摘要.pdfVIP

维普资讯 决策树简化 (剪切)方法综述 王熙照 游 自英 (河北大学数学与计算机学院机器学习研究中心，保定 071002) 摘 要 树的简化是决策树归纳学习中关键的部分。论文是决策树简化方法的一个综述 ，包括预剪枝、后剪枝和其它方 法。文中叙述 了多种著名的剪枝方法，各种方法的优缺点及对其的改进和变型。 关键词 决策树简化 剪枝 预剪枝 后剪枝 文章编号 1002—8331-(2OO4)27—0066—04 文献标识码 A 中图分类号 I1)301 A BriefSurvey ofMethodsforDecision TreeSimplification W angXizhao You Ziying (MachineLearningCenter，FacultyofMathematicsandComputerScience， HebeiUniversity，Baoding071O02) Abstract： Simplifying trees isthekeypartofdecision tree induction learning．Thispaperisabriefsurveyofseveral methodsfordecision treesimplification，including thepre—pruning，post-pruningandhte ohtermethods．Itshowsmostof well-known pruningmethodsincludingtheirstrengthsandweaknesses，andtheirimprovementsorvariations． Keywords：simplifyingdecision rtees，pruning，pre—pruning，post-pruning 决策树 (decisionrtee)学习是以实例为基础 的归纳学习算 好的效果 ； 法 ，通过一组无次序 、无规则的实例推理出决策树表示形式的 (2)另外 ，到达此结点的实例具有相同的特征向量 ，而不必 分类规则。这里通过不同的学习算法 (如C 算法 、ID3t’学习 一 定属于同一类 ，也可停止生长 。这种情况可以处理数据中的 算法)构造了决策树。对决策树的评价有一些量化的评价标准 ， 数据冲突问题 ； 除去分类的正确性应 当放在第一位考虑 ，决策树的复杂程度是 (3)还有 ，到达此结点的实例个数小于某一个阈值也可停 另外一个需要考虑的重要因素。 止树的生长 ，其不足之处是不能处理那些数量较小的特殊情况 很 明显，如果决策树构造得过于复杂 ，那么对于用户来说 实例； 这个决策树是难 以理解的，将在很大程度上使得分类树的构造 (4)还有一种更为普遍的做法是计算每次扩张对系统性能 没有意义 ；在科学研究中，一般遵循剃刀原理(Occamsrazor)， 的增益 ，如果这个增益值小于某个阈值则不进行扩展 。如果在 即与观察兼容的理论 中，应该选择最简单 的一个 ；而且 ，决策树 最好情况下的扩展增益都小于阈值，则即使有些叶结点的实例 构造的越小，其存储所花的代价也越小，对其某些操作相对来 集不属于同一类 ，算法也停止。 说也就简单省时。所 以应该在保证正确率的前提下尽量构造简 预剪枝 的方法中，FOIL(FirstOrderInductionLearning)t’gl 单的决策树。 是大多数相关学习算法的祖先 ，后来JohannesFtrtnkranz~应用 寻找最小决策树是NP完全的，所 以在现实中不可能找到 相同的策略(separate—a