决策树剪枝教学提纲.pptVIP

N 决策树剪枝算法  先剪枝 目录 CONTENTS 1234 错误率降低剪枝 悲观剪枝 代价复杂度剪枝  为什么需要剪枝 在有些时候,一棵经过训练的决策树过于“繁茂”,知识过多,或者说得到的规 则集合过大。经过剪枝,可以得到一棵相对简洁的决策树,较少的规则使得在进行 分类预测时,决策树效率更高。同时,剪枝也可以减少过拟合现象的发生。  剪枝后 yes no 围画 1怎么剪? 2剪枝后效果如何  先剪枝 通过提前停止树的构建而对树剪枝,一旦停止,节点就是树叶,该树叶持有 子集元祖最频繁的类。 停止决策树生长最简单的方法有: 1定义一个高度,当决策树达到该高度时就停止决策树的生长 2达到某个节点的实例具有相同的特征向量,即使这些实例不属于同一类, 也可以停止决策树的生长。 3定义一个阈值,当达到某个节点的实例个数小于阈值时就可以停止决策树 的生长。或定义一个阈值,通过计算每次扩张对系统性能的增益,并比较增益 值与该阈值大小来决定是否停止决策树的生长。 不足:阈值不好设置,过大决策树过于简单;过小,有多余树枝,过于茂盛  后剪枝方法 后剪枝(ρ ostpruning):它首先构造完整的决策树,允许树过度拟合训练数据, 然后对那些置信度不够的节点子树用叶子节点来代替,该叶子的类标号用该节点子 树中最频繁的类标记。相比于先剪