第六章 C4_5算法.docxVIP

目录一、背景2二、国内外研究现状2三、C4.5算法介绍及分析41.ID3算法概述42.C4.5算法描述53.信息增益率的计算6四、C4.5算法的应用——实验设计71.实验思路82.实验过程83.实验结果11五、结论11参考文献12附件：13【摘要】随着“大数据”时代的发展，越来越多的学者逐渐重视对数据背后信息的探究。数据挖掘的方法多种多样，所运用的算法也不尽相同。本论文主要对数据分类方法下的经典决策树算法——C4.5算法——进行了分析，并且将其应用于高校选课案例中，体现了C4.5算法的优点，也指出了其存在的缺点。【关键词】数据挖掘；数据分类；决策树算法；C4.5算法Abstract：With the development of the era of “Big Data”, more and more scholars attach great importancein exploring data to acquire significant information. It is named as “Data Mining”. There are various methods to achieve data exploring. In the report, it focuses on analyzing C4.5 algorithm, one of classic algorithms. Besides, this algorithm will be applied in a case in this report. Its advantages and disadvantages will be exposed in the case.Key words: Data Mining, Data Classification, Decision Tree Algorithm, C4.5 Algorithm一、背景“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产效率增长和消费者盈余浪潮的到来”，这是全球知名咨询公司麦肯锡发表的关于目前大数据时代一段言论。大数据，是信息爆炸时代的必然产物，也是不可或缺的一部分，有着极其重要的意义。因此面对如此庞大的数据集，如何利用这些数据使之产生价值，为人类服务逐渐为广大信息技术工作者所重视。于是数据挖掘技术逐渐发展起来。数据挖掘技术，是一种通过计算机技术将隐含在大量的、不完全的、有噪声的、模糊的、随机的数据中具有潜在利用价值的信息和知识提取出来的手段，并探索其中的内部规则，以及预测数据未来的发展趋势。二、国内外研究现状数据挖掘，涉及到多种学科和技术领域，研究方向也不尽相同。根据数据挖掘的方法分，其可分为：数据的分类、聚类、分析与预测、关联规则挖掘、序列模式挖掘等；根据数据挖掘的对象分，有关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据库、一直数据库、遗产数据库以及环球网Web[1]。决策树、BP神经网络、人工智能、贝叶斯网络、关联分析和统计方法等是数据挖掘中的经典算法[2]。在众多的数据挖掘方法中，数据分类是一种高效的数据挖掘方法[3]。作为数据挖掘中重要的环节，数据分类主要利用解析训练，创建分类模型[3]，具体过程如图1所示。而其中决策树算法是使用广泛的算法之一，回归树和分类树是两种基本的决策树种类[3]。其通过对历史数据的学习和训练，建立起高价值的、能够揭露数据隐含信息以及关联规则的树，以完成数据的分类。输出待矫正决策树输出决策树图2-1 决策树生成过程[3]决策树算法产生于20世纪60年代，几十年间，不断有新的算法被提出，有划时代的意义，为各科学领域的研究提供了帮助[2]：ID3算法，即迭代分类器，由J.R. Quinlan提出。以信息熵和信息增益作为衡量标准，对数据进行归纳分类；1984年，L.Breiman等提出CART（分类和回归树）算法，其重要思想是选择具有最小基尼指数的属性为测试属性生成决策树；C4.5算法，是对ID3算法的改进，弥补ID3算法在预测变量缺值处理、剪枝技术、派尘规则等方面的不足；1996年，M.Mehta和R.Agrawal等人提出SLIQ算法，采取了属性列表、分类列表、类直方图很好的解决了分类中数据量超过内存容量的问题。同年，R.Agrawal和J.Shafer等提出了SPRINT分类方法。和SLIQ算法一样，SPRINT算法也解决了内存空间的问题，但两者的处理方式不同，SPRINT具有并行处理问题的特点。1998年，J.Genrke和R.Ramakrishnan等提出了Rain Forest分类算法，主要应用于大规模数据集快速建树的分类问题。其主要思想是根据每一次计