基于粗糙集的生产环境数据挖掘系统方法.pdfVIP

第 26 卷第 3 期 南方冶金学院学报 Vo 1.26 ,No.3 2005 年 6 月 JOURNAL OF SOUTHERN INSTITUTE OF METALLURGY Jun. 2005 基于粗糙集的生产环境数据挖掘系统方法 刘发升 毛林春2 (1.江西理工大学信息工程学院，江西赣州 341∞0;2.江西理工大学应用科学学院，江西赣州 341∞0) 摘 要:针对粗糙集确定性模型缺乏处理不确定信息的特点，Z. Pawlak 等提出了粗糙 集的概率模型.但该模型没有包括如何处理生产数据集纷繁复杂数据的方法.因此提出 了应用粗糙集于生产环境数据挖掘的一种系统方法，并应用 UCI 的数据集对该方法进 行了检验.实验结果体现了它的性能与有效性. 关键词:粗糙集概率模型; 数据挖掘; 生产环境数据集 中图分类号:TP391 文献标识码:A 文章编号:1007-1229(2005)03-0016-05 1 问题的提出 粗糙集理论[IJ是一个代数模型，它不足以处理源于分类问题的不确定信息，其中基本的问题 在于该模型基于确定性的方法而忽视了可用的概率信息.粗糙集的概率模型即是在这样的背景 下提出的[2-4J .Z.Pawlak[2J等提出了粗糙集概率模型，有效地解决了利用概率信息进行不确定分类 的问题.但是，该模型只是解决了获取的规则应该有不确定性的问题，而未能很好的解决获取的 规则的有效性问题，即没有把一个规则是否有一定的支持度、是否来自于偶然的实例等问题考 虑进去.另外，该模型也忽略了通常为使用粗糙集进行数据挖掘而进行的从实际数据集到粗糙 集数据表的转换过程中可能造成的数据信息的某些变化 因此，为了采用粗糙集概率模型进行实际生产环境数据挖掘，就必须加人避免偶然规则的 机制以及把反映原始数据信息的一些手段与该模型有机结合起来. 本文的主要内容是①为把粗糙集应用于生产环境的数据挖掘对原始数据集需要做的各种 预处理以及数据预处理后原始数据集信息的传递方法、避免偶然规则机制的引人;②基于上述 方法提出应用粗糙集概率模型于数据挖掘的一种启发式策略;最后，用实验数据对该挖掘方法 进行有效性检验. 2 数据集基于数据域原始底层数据级的信息归纳与预处理以及避免 偶然规则机制的引入 在数据挖掘的应用中，应用领域的背景知识常常起到至关重要的作用.虽然可以在原始数 据级上挖掘某些规则性，在更高的概念级别却常常可以挖掘到令人更感兴趣以及具有强支持度 收稿日期:2004-11-08 基金项目:江西省自然科学基金资助项目(0411046) ，江西省教育厅 2003 年科技攻关计划项目，江西理工大学博士研究 基金项目 作者简介:刘发升(1963- )，男，副教授. 第 26 卷第 3 期 刘发升等:基于粗糙集的生产环境数据挖掘系统方法 17 的规则.因此，常常需要把数据库中原始的底层数据进行概念提升以期在更高的概念水平上进 行有效的挖掘.同时，在原始底层的数据级上挖掘出的规则常常过于繁杂，其中很多规则也不是 用户所感兴趣的，使得有效利用这些规则变得十分困难.所以通过概念提升聚焦挖掘对象就变 得十分必要.在挖掘过程中，背景知识如相关的概念层次的使用不仅可以改善挖掘的效率而且 可以表示用户的挖掘喜好，因此，提高挖掘结果的兴趣度也是十分必要的. (1)概念分类层次树与数据离散化.概念分类层次树首先是一棵树，并且按照从普遍到特殊 的序构成偏序.树根表示最一般的概念类，树叶表示最特殊的概念类即数据库中的原始级别的 数据.树的每个节点表示一个概念类，节点的子节点表示对应类的子类.每个节点的所有子节点 的集合构成该节点的一个等价分割，即每个类的子类之间互不相交、但其所有子类的并穷尽该 类覆盖的所有实例.概念分类层次树定义从一个概念集合到它们相对应的更高层概念之间的映 射. 对于概念属性(Ca怡gorical Att由ute) ，有几种方法可以得到概念属性的分类层次树，包括① 根据习惯分类的方法，如地名可以按洲一国家一省一县的层次进行分类:②根据领域专家提 供的方法进行分类，比如皮肤病的分类;③采用其他的方法进行分类，比如