基于粗糙集的决策树分类算法研究-计算机软件与理论专业论文.docxVIP

摘 摘 要 基于粗糙集的决策树分类算法研究 基于粗糙集的决策树分类算法研究 I I PAGE PAGE IV 摘要 数据挖掘是指从大型数据库或数据仓库中提取潜在的、有价值的、未知的 知识或模式的复杂过程。在这一过程中，对数据的分类是数据挖掘的一个重要 的研究方向，许多挖掘问题本质上都可以等价地转化为分类问题。目前，分类 已经广泛应用于医疗诊断、天气预测、信用证实、客户区分、欺诈鉴别等许多 领域。挖掘分类模式的方法有很多，常用的有决策树、神经网络、遗传算法、 贝叶斯分类器、贝叶斯信念网络和粗糙集等。与其它分类技术相比，决策树方 法由于分类准确率高，效率高，生成模式易于理解等优点成为应用最广的分类 算法之一。但是决策树技术也有它的缺点：一方面，它无法删除带噪声的不相 关的属性，另一方面，通过计算信息熵生成的决策树，计算量大，并且存在大 量子树重复问题，特别当存在大量冗余属性时，生成的决策树过于庞大。 粗糙集理论(Rough Set)是由波兰数学家 Z.Pawlak 教授提出的一种处理模糊、 不精确、不完整和不确定数据的有效数学工具，它具有很强的知识获取能力， 并将分类和知识联系在一起。但是其不足之处是容错能力和推广能力相对较弱。 本文在对 ID3 算法进行系统总结的基础上，针对其存在的不足，将粗糙集 理论应用于决策树技术，做了如下研究工作： （1）对仅有离散值属性的情况下，利用粗糙集理论中条件属性相对于决策属性 的核以及条件属性的区分能力，对可辨识矩阵约简算法加以改进，以便对数据 集合中存在的冗余属性进行分类前的属性约简。 （2）本文从粗糙集和决策树两种方法具有的优势互补性出发，将粗糙集理论应 用于决策树技术，提出了一种基于粗糙集的决策树分类算法 RsDt，该算法采用 加权分类粗糙度作为结点选择属性的启发函数，该标准能够全面地刻画属性分 类的综合贡献能力，并且比信息增益的计算为简单。 （3）为了消除噪声数据对选择属性和生成叶结点的影响，本文采用两种方法对 文中提出的 RsDt 决策树算法进行优化。方法一：在变精度粗糙集模型的基础对 RsDt 算法进行优化，提出了 VPRsDt 算法，该算法首先基于变精度正域修正条 件属性对数据的初始划分模式，然后再计算属性的加权分类粗糙度，这是由于 变精度粗糙集理论在将等价类划归近似区间时允许一定程度的误差存在，因此 这种方法可以很好地抑制噪声数据。方法二：采用 EBP 后剪枝法对 RsDt 算法进 行优化。通过对 UCI 数据库中数据集的实验挖掘结果表明，VPRsDt 算法生成的 决策树较 ID3 算法生成的决策树规模降低，分类准确率提高。方法二生成的决 策树与 C4.5 算法生成的决策树相比，在叶结点个数、分类准确率和时间性能上 相当，并优于 ID3 算法。 关键词：数据挖掘;决策树;粗糙集;决策树优化;剪枝 A Abstract 基于粗糙集的决策树分类算法研究 基于粗糙集的决策树分类算法研究 III III PAGE PAGE IV Abstract Data mining,referred to as Knowledge discovery in databases,is the extraction of patterns representing Knowlegde implicitly stored in large databases or data warehouses.In this process, classification of data is an important research direction, on the nature of the data mining problem, many can be transformed into equivalent classification,it has been widely used in many fields such as medical diagnosis,climate predict,credit validate,client distinguish,fraud discriminate and so on.There are many techniques for data classification such as decision tree induction, networks,genetic algorithms,Bayesian classification and Bayesian belief networks, and rough set Etc. Compared to other classification techniques,Decision tree