咨询工具：决策树算法及应用拓展，41.pptVIP

算法比较 Sprint: 传统的二阶段“构造－剪枝”算法 Public(1):用保守的估计值1取代欲扩展节点的代价下界 Public(S):考虑具有分裂点的子树，同时计算为确定分裂节点及其属性的代价下界 Public(V):比前者准确，需计算确定结点上属性值的代价下界 实验数据(Real-life) DataSet Canner Car Letter Satimage shuttle vehicle yeast NO_CA 0 6 0 0 0 0 0 NO_NA 9 0 16 36 9 18 8 N_Class 2 4 26 7 5 4 10 N_R(Te) 214 567 6632 2000 14500 559 1001 N_R(Tr) 496 1161 13368 4435 43500 559 1001 实验结果(一) Dateset DS1 DS2 DS3 DS4 DS5 DS6 DS7 Sprint 21 97 3265 657 53 189 325 Public1 17 83 3215 565 53 141 237 PublicS 15 71 2979 457 53 115 169 PublicV 15 65 2875 435 53 107 163 Max rat 40% 48% 14% 51% 0% 77% 99% Nodes 9 37 1991 185 51 35 43 产生的节点数目 实验结果(二) Dateset DS1 DS2 DS3 DS4 DS5 DS6 DS7 Sprint 0.87 1.59 334.9 177.65 230.62 11.98 6.65 Public1 0.82 1.51 285.56 167.78 229.21 10.58 5.55 PublicS 0.83 1.44 289.70 166.44 230.26 9.81 4.94 PublicV 0.81 1.45 300.48 159.83 227.26 9.64 4.89 Max rat 9% 0% 17% 11% 2% 2% 3% 执行时间(S) 算法结果分析 总体上，比Sprint算法有较大改进 相对于最后的剪枝树仍有多余的结点，有待改进 挖掘效率与数据分布及噪声有关 言归正传—捕捉数据变化的挖掘方法 新生成一棵决策树 与旧树完全没有关系 生成一棵相关的树 未达到旧树中叶节点的深度 超出了旧树中相应节点的深度 相同的属性，最好的划分(best cut) 相同的属性，相同的划分 方法三的对应算法 使新树与旧树有相同的属性和划分，且能及早停止 测试在旧树中每个叶子节点的错误变化的情况 进一步生成新的树 剪枝移除那些无预测特性的分枝 比较新、旧树，识别变化部分 标识几种不同的变化类型 区域的连接：旧树中的划分不必要 边界的移动：旧树中的划分移到了新的位置 进一步细化(Refinement):旧树中的叶结点不足以描述新生成数据 类标号变化：旧树中的节点类标号发生了变化 错误率的变化 覆盖率的变化：某个节点具有的数据量的比率 小结 Building Decision Tree算法 Pruning Decision Tree算法 Public 算法 Public(1)算法 Public(s)算法 Public(v)算法 识别数据变化的挖掘算法 个人观点 计算分裂点属性代价下界的算法代码 Procedure ComputeMinCostS(Node N) If K=1 return (C(S)+1) S=1 tmpCost=2*S+1+S*log a +∑ni i=s+1..k While S+1k and 2+log a do{ tmpCost=tmpCost+2+log a – s++ } Return min {C(S)+1,tmpCost } } 决策树算法及应用拓展 内容简介： 概述 预备知识 决策树生成(Building Decision Tree) 决策树剪枝(Pruning Decision Tree) 捕捉变化数据的挖掘方法 小结 概述(一) 传统挖掘方法的局限性 只重视从数据库中提取规则，忽视了库中数据的变化 挖掘所用的数据来自稳定的环境，人为干预较少 概述(二) 捕捉新旧数据变化的目的： 挖掘出变化的趋势 例：啤酒——尿布 阻止/延缓不利变化的发生 例：金融危机——银行的信贷策略 差异挖掘算法的主要思想： 合理比较新/旧数据的挖掘结果，并清晰的描述其变化部分 预备知识一(Building Tree) 基本思想： 用途：提取分类规则，进行分类预测 判定树分类算法 output 训练集 决策树 input 使用决策树进行