基于抽样随机约简算法.docVIP

基于抽样随机约简算法 　　摘要：属性约简作为粗糙集理论的一个重要应用被较多学者关注。然而，由于其计算复杂度与数据的规模成平方级增长，基于粗糙集的属性约简在大规模数据上的应用效率较低。考虑到随机抽样是降低大规模数据的计算的一种有效的统计方法，因而我们将其引入约简算法中，提出一种随机约简算法，从而大幅提升了属性约简的效率。该算法的主要贡献是基于最小冗余和最大相关的选择属性过程中引入了随机抽样的思想。首先，在每次选择最重要属性时，并不需要在所有的示例上计算依赖度，而是随机选了部分示例，从而既选择了最大相关的属性，又大大降低了算法的计算复杂度。其次，在选择属性的过程中，每次迭代的样本是不同的，而且样本之间具有较少的信息交叉，从而选取了最小冗余的属性。最后，通过数值实验，我们比较了随机约简算法与非随机约简算法的性能。 　　关键词：随机抽样；模糊粗糙集；属性约简 　　中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2017）33-0013-03 　　数据的爆炸性增长，带来了数据挖掘技术的飞快进步。而在实际问题中，数据缺失，数据收集不精确，数据粒度过于粗糙等都会导致不确定数据的产生。不确定数据挖掘成为一个热门的研究方向。波兰科学家Z.Pawlak提出的粗糙集理论，其不需要太多的专业知识也能很容易地被人理解，是集合理论的一般化扩展[1-2]。 　　文献[9]主要利用增量学习的方式提高执行速度。在[9]中，提出了基于粗糙集理论的增强式学习方法，将数据集分为几块，依次把数据块加入运算，从而原始的大规模数据的运算量可以有效地降低。基于此增量的思想，约简在每次数据块加入的过程中被更新。这种基于已获得约简结果学习新的数据集的约简方法，即避免的重复运算，又使得大规模数据集上的约简成为可能。不同与增量学习算法，有不少学者研究了按照分布式的思路来解决大规模数据集中的粗糙集问题。但是，从统计学的角度出发，随机抽样可以在基于粗糙集理论的大规模数据应用中发挥作用。 　　本文将模糊粗糙集和随机抽样的基本方法结合，提出了基于抽样的随机约简算法，来解决大规模数据的属性?s简问题。本文的主要安排如下。第一节我们回顾了模糊粗糙集及其约简；第二节构造了基于随机抽样的随机粗糙模型，并理论分析了样本与总体的依赖度统计意义上的差别与联系，并据此提出了随机约简的定义。第三节基于最大相关和最小冗余的思想设计了随机约简的算法。第四节我们给出算法的数值实验评估。最后在第五节总结了全文。 　　1 模糊粗糙集及其约简 　　在本节中，我们简单回顾一些模糊粗糙集和其经典的约简算法。关于该理论的更多细节，可以参考文献[3-7]。 　　1.1 模糊粗糙集 　　数据集可以描述成一个决策表，表示成一个三元组[DT=]。这里U是一个非空示例集[{x1，x2，…，xn}]。每个示例用一组条件属性[{a1，a2，…，am}]来描述，记为A，另外有一组决策属性，记为D。决策属性将论域划分为m个决策类[UD]=[{D1，D2，…，Dq}]，这里[U=i=1qDi]，且任意两个决策类[Di]与[Dj]相交为空。特别地，如果[x∈Di]，则记[Di=Dx]。即[Dx]表示[x]属于该决策类。 　　假设B是A的一个子集。两个示例的相似度和距离定义如下。 　　定义1.1：给定决策表[DT=]，[?B?A]和[xi，xj∈U]，[xi]和[xj]的相似度记为[rB（xi ，xj）]，[xi]和[xj]的距离记为[dBxi，xj]。它们的定义如下： 　　[dBxi，xj=maxkak（xi）-ak（xj），ak∈B]； 　　[rB（xi，xj）=1-dB（xi，xj）]。 　　[rB（?，?）]即为属性子集B所描述的模糊相似关系，它满足自反性、对称性和三角传递性。 　　如果A是可以模糊化的（如连续值属性），那么决策表DT=表示的是一个模糊决策表。在模糊决策表上，粗糙集被推广为模糊粗糙集。模糊粗糙集是融合了粗糙集和模糊集的概念而提出的理论。模糊粗糙集不仅将近似对象从离散集扩展到了模糊集，而且将等价关系扩展到了模糊相似关系。模糊粗糙集重新定义了上下近似概念，如下。 　　定义1.2：给定模糊决策表DT=和[?B?A]，示例[x∈U]属于[Dk]类的上、下近似定义如下： 　　[BDkx=infu∈Umax1-rBx，u，Dku，x∈U] 　　[BDkx=supu∈UminrBx，u，Dku，x∈U] 　　上述定义是一般化的模糊糙集的定义在特定的模糊相似关系[rB（?，?）]下的具体的形式，它的几何意义为示例的下近似是距离其最近的异类点的距离，上近似是距离其最远的同类点的相似度。为了便于理解，本文的接下来的工作均是基于定义2的模糊粗糙集展开。采用类似的方法，本文的工作可以推