决策树c45算法总结资料.pptVIP

C4.5示例 数据：weka中的weather数据（字符型、数值型） outlook,temperature,humidity,windy,play sunny,hot,high,FALSE,no sunny,hot,high,TRUE,no overcast,hot,high,FALSE,yes rainy,mild,high,FALSE,yes rainy,cool,normal,FALSE,yes rainy,cool,normal,TRUE,no overcast,cool,normal,TRUE,yes sunny,mild,high,FALSE,no sunny,cool,normal,FALSE,yes rainy,mild,normal,FALSE,yes sunny,mild,normal,TRUE,yes overcast,mild,high,TRUE,yes overcast,hot,normal,FALSE,yes rainy,mild,high,TRUE,no outlook,temperature,humidity,windy,play sunny,85,85,FALSE,no sunny,80,90,TRUE,no overcast,83,86,FALSE,yes rainy,70,96,FALSE,yes rainy,68,80,FALSE,yes rainy,65,70,TRUE,no overcast,64,65,TRUE,yes sunny,72,95,FALSE,no sunny,69,70,FALSE,yes rainy,75,80,FALSE,yes sunny,75,70,TRUE,yes overcast,72,90,TRUE,yes overcast,81,75,FALSE,yes rainy,71,91,TRUE,no C4.5示例 SPSS Clementine C5.0 C4.5示例 Weka J48 C4.5算法简介 决策树方法：利用一定的训练样本，从数据中学习出决策规则自动构造出决策树。 C4.5算法: 《C4. 5: programs for machine learning》 JR Quinlan, 1993 分类决策树算法,其核心算法是ID3算法。目前应用在临床决策、生产制造、文档分析、生物信息学、空间数据建模等领域。算法的输入是带类标的数据，输出是树形的决策规则。 ID3算法：《Induction of decision trees》 JR Quinlan - Machine learning, 1986  ID3算法的原型来自于Hunt等人提出的概念学习系统（concept learning system, CLS）。 C4.5算法简介 C4.5比ID3的改进: 1) 用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足；2) 在树构造过程中进行剪枝；3) 能够完成对连续属性的离散化处理；4) 能够对不完整数据进行处理。 C4.5算法优点：产生的分类规则易于理解，准确率较高。 C4.5算法缺点：在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。 决策树算法发展 二级存储: 针对不能完全放入内存的数据集，在确保分类器算法效能的前提下，要做到数据集扫描遍数的极小化。 BOAT算法（《 BOAT-optimistic decision tree construction》J Gehrke, V Ganti, R Ramakrishnan… - SIGMOD …, 1999）使用抽样、融合、完整扫描三步得到最终的分类器。 RainForest框架（《Rainforest-a framework for fast decision tree construction of large datasets》J Gehrke, R Ramakrishnan, V Ganti - VLDB, 1998）实现了多种具体的决策树构建方法，适用于大规模数据集的处理。其他基于二级存储设备的算法还有SLIQ（ 《SLIQ: A fast scalable classifier for data mining》 M Mehta, R Agrawal, J Rissanen - Advances in Database Technology— …, 1996 ），SPRINT（《SPRINT: A scalable parallel classi er for data mining》J Shafer, R Agrawal, M Mehta - Proc. 1996 Int. Conf. Very Large Data …,