一种基于Rough Set的海量数据分割算法.pdfVIP

维普资讯 第 19卷 第 2期 模式识别与人工智能 V01．19 NO．2 2006年 4月 PR 8LAI Apr 2006 * 一 种基于RoughSet的海量数据分割算法 覃政仁 吴 渝 王国胤 (重庆邮电学院 计算机科学与技术研究所 重庆 400065) 摘 要 处理海量数据一直是数据挖掘要解决 的一个重要问题．目前已有许多并行或 串行 的算法来处理海量数 据，然而这些算法通常都不能很好地解决速度和正确率之间的矛盾．分布式运算在处理数据上具有明显优势，因此 本文考虑将一个原始的海量数据集分割成许多个独立的小数据集进行分布式处理．本文首先根据RoughSet的特 点提出最佳分割的定义 ，然后提出一种海量数据分割算法来寻找最佳分割．通过实验测试证明结合本文提出的数 据分割算法的分布式处理方案能够快速处理海量数据，而且与处理整个数据集的算法相 比，正确性较高． 关键词 粗糙集，数据分割，分布式处理 中圈法分类号 TP391 A PartitionAlgorithm forHugeDataSetsBasedonRoughSet QIN Zheng—Ren。WU Yu。WANGGUO—Yin (InstituteofComputerScienceandTechnology，ChongqingUniversityofPosts andTelecommunications，Chongqing400065) ABSTRACT Processinghugedatasetsisan importanttopicin dataminingnowadays．Althoughmany serialorparallelalgorithmshavebeendevelopedtodea1withhugedatasets，mostofthem arenot idealtoresolvetheconflictbetweenspeedandaccuracy．Inthispaper，thewholehugedatasetis partitionedintomanysmallsubsetsfortheadvantageofdistributedcomputing．Atfirst，adefinition ofbestpartitionisproposed．Then。arough—set—basedpartitionalgorithm isdevelopedtolookfor thebestpartition．Experimentalresultsprovethatthedistributedinformationprocessingmethod basedontherough-set—basedpartitionalgorithm isaneffectivemethodindealingwithhugedata sets．Itisfasterthanoriginalrough—set—basedalgorithmsanditsperformanceisasgoodasthose processingtheoriginaldatasetasawhole． KeyW ords RoughNet，DataPartition，DistributedInformationProcessing *国家 自然科学基金项 目(No、教育部科学技术研究重点项 目