基于决策树算法数据挖掘-课程论文.doc

专业：信息与计算科学 班级：信息122 姓名：沈利言 学号：3120702230 题目：基于决策树算法的数据挖掘 1、引言：决策树方法在数据挖掘技术中具有很重要的作用，随着数据挖掘分类技术的广泛应用，决策树算法取得了众多研究成果，本文在深入研究和分析了主流决策树算法的基础上，基于WEKA数据挖掘平台进行了决策树算法的的分析与实现，不仅有效的利用了已有数据挖掘工具以及breast数据集，进行数据挖掘与计算首先，详细介绍了开放性数据挖掘平台WEKA的功能及结构，在对决策树算法性能评价标准进行研究的基础上，本文基于WEKA平台进行了经典决策树算法性能分析的实验，并就算法的评价指标对不同算法的性能进行了比较与分析。其次，本文对经典决策树算法的实现原理进行了深入研究，在认真学习了WEKA系统结构的基础上，将SPRINT算法在WEKA平台上实现了封装和应用，并对封装后的算法性能进行了测试，有效的利用已有数据挖掘工具实现了个性化算法的设计及应用。 为了提高对多值属性多类标数据的处理能力，本文在已有决策树 算法的基础上，结合应用统计学、概率论等数学原理，对数据集breast进行了有效的分析与计算。 2、数据集介绍：有10个属性值，breast数据 集主要是关于乳腺癌患病情况的数据信息，部分的属性如下： 决策树算法得介绍： 3.1决策树技术：数据挖掘就是从大量的、不完全的、有噪声的、随机的原始数据中，提取隐含在其中的、未知的、具有潜在价值的知识的过程，这里的知识是指规则、模式和约束等。用于挖掘的原始数据可以是多种形式的，如：关系型数据库中结构化的数据；文本、图形、图像数据等半结构化的数据；分布在网络上的异构型的数据等等。用于挖掘的方法可以是数学的或非数学的，演绎的或归纳的。挖掘得到 的知识可以用于信息管理、过程控制、决策支持等。总之，数据挖掘是一门广义的交叉学科，它涵盖了统计学、人工智能、机器学习、自动化、数字信号处理等各领域的成果。近年来，数据挖掘进一步加强了多学科的融合，它把人们对数据的应用从低层次的简单查询，提升到了自主学习与知识发现的高度，并以其丰富的内涵、强大的分析能力为各行业提供了有效的决策支持按照挖掘方式进行分类，数据挖掘可以分为两大类：直接数据挖掘和间接数据挖掘。直接数据挖掘是指首先利用待挖掘的数据建立一个挖掘模型，再根据这个模型对未知的需要处理的数据进行描述，数据挖掘中的分类、估值、预测均属于直接数据挖掘。间接数据挖掘也需要对数据进行建模，但其建模并不是只针对个别数据变量，而是在所有的变量中建立起某种关系，数据挖掘中的关联规则、聚集、描述和可视化都属于间接数据挖掘。 3.2决策树算法：其是以实例为基础的归纳学习算法。 ????它从一组无次序、无规则的元组中推理出决策树表示形式的分类规则。它采用自顶向下的递归方式，在决策树的内部结点进行属性值的比较，并根据不同的属性值从该结点向下分支，叶结点是要学习划分的类。从根到叶结点的一条路径就对应着一条合取规则，整个决策树就对应着一组析取表达式规则。1986年Quinlan提出了著名的ID3算法。在ID3算法的基础上，1993年Quinlan又提出了C4.5算法。为了适应处理大规模数据集的需要，后来又提出了若干改进的算法，其中SLIQ和SPRINT 是比较有代表性的两个算法。????(1) ID3算法????ID3算法的核心是：在决策树各级结点上选择属性时，用信息增益（information?gain）作为属性的选择标准，以使得在每一个非叶结点进行测试时，能获得关于被测试记录最大的类别信息。其具体方法是：检测所有的属性，选择信息增益最大的属性产生决策树结点，由该属性的不同取值建立分支，再对各分支的子集递归调用该方法建立决策树结点的分支，直到所有子集仅包含同一类别的数据为止。最后得到一棵决策树，它可以用来对新的样本进行分类。????某属性的信息增益按下列方法计算。通过计算每个属性的信息增益，并比较它们的大小，就不难获得具有最大信息增益的属性。????设S是s个数据样本的集合。假定类标号属性具有m个不同值，定义m个不同类Ci(i=1,…,m)。设si是类Ci中的样