基于区间类信息熵的连续属性离散化方法.pdfVIP

236 计算机技术与应用进展·2006 基于区间类信息熵的连续属性离散化方法 阙夏胡学钢张玉红 合肥工业大学计算机与信息学院安徽合肥230009 摘要：连续属性离散化问题是数据挖掘重要的研究步骤之一。本文基于粗糙集的有关理论，提出 了一种新的连续属性离散化方法。首先提出度量属性区间离散化效果的区闻类信息熵的概念，然后根 据已有数据的取值构成候选断点区间集，在控制区间类信息熵小于给定的某个值(的前提下对相邻的 区间进行合并。最后通过实际的数据分析，说明该算法与经典的离散化算法相比，离散化效果更好， 更有利于下一步的分析_T-作。 关犍词：离散化粗糙集理论决策表区间类信息熵 口 在机器学习和数据挖掘研究领域中，已经发展了很多处理离散型数据的算法，如决策树、关联规则等 等。对于连续型数据，则需要进行离散他处理。离散化处理的结果往往会直接影响算法的处理过程与最终 效果，因此应该采用合适的离散化方法。 连续属性离散化方法很多，归纳起来主要有三种类型【1．2】：根据是否使用了类别标志，可以分成有监督 和无监督的；根据进行离散化的时间不同，可以分成全局和局部的；根据是否考虑属性之间的相互影响， 可以分成静态和动态的。 国内外学者已提出许多方法，等宽和等频是常见的无监督离散纯算法，这两种算法虽然容易实现，但 由于忽略了样本的分布信息，所以难以将离散区间边界设置在最合适的位置上，从而使它们的性能在大多 数情况下难以令人满意吼此外还有统计检验法‘”，信息熵法[3】，MD方法‘51和基于聚类的方法‘61等。这些算 法都可以归结为利用选取的断点对连续属性构成的空间进行划分，得到有限个区间，并利用数字对每个区 间进行标号。 寻求最优的离散化结果已被证明是NP完全问题…。针对带有类标的数据，本文基于粗糙集理论，提出 basedonIntervalClass．Information 了一种新的连续属性离散化方法——_DICIE(Discretization Entropy)。文 中首先介绍粗糙集中决策表的概念，接着提出度量属性区间的离散化效果的区间类信息熵的概念，然后描 述DICIE算法的具体实现步骤，最后本文通过实际的数据——学生成绩数据进行分析。表明该算法与经典 的离散化算法相比，在处理学生成绩数据时该算法更优，更有利于下一步的分析工作。 2有关概念 2．1粗糙集中决策表的定义 工具，它已广泛在人工智能、知识与数据发现、模式识别与分类、不精确数据的分析推理和发现潜在知识、 数据挖掘等方面得到了较为成功的应用。 决策表‘81是一类特殊且重要的知识表示系统，也是一种特殊的信息表，定义如下： uD是属性集合，子 决策表是一个信息表知识表达系统S=U，R，vp，其中论域U={xl，x2，…，xnl；R--C 性，结果属性集D≠o；v=I 怍R 数，指定u中每一对象的属性值。 2．2度量属性区间离散化效果的区间类信息熵的定义 某个属性中第i个区间Ii的区问类信息熵的定义如下： ．皇C． C． Eli(s1，s2”sm)一∑子1092子 n{ 儿I j=l 其中k是区问中类别的个数，m为区间Ii的实例的个数。c日为区间Ii中类别为j实例的个数。从上面 只包含一个类别的实例时，EIi=0。 3离散化算法--DICIE DICIE离散化算法具体过程描述如下： 输入：原始决策表S； 输出：离散化的决策表st。 STEPl： (1)统计原始决策表的属性ci的取值情况，放在变量m中； (2)根据ci的取值情况把属性c