云计算环境下差别矩阵知识约简算法研究.pdfVIP

第 38卷 第 8期 计 算 机 科 学 Vo1．38NO．8 2011年 8月 Computer Science Aug2011 云计算环境下差别矩阵知识约简算法研究 钱 进 。 苗夺谦 。 张泽华 。 (同济大学计算机科学与技术系 上海 201804) (江苏技术师范学院计算机工程学院 常州 213001) (同济大学嵌入式系统与服务计算教育部重点实验室 上海201804)。 摘 要 知识约简是粗糙集理论的重要研究内容之一。经典的差别矩阵知识约简算法只能处理小数据集，而已有的 任务并行的知识约简算法是假设所有数据一次性装入 内存 中，这显然不适舍处理海量数据。为此，剖析了差别矩阵元 素的特性，根据属性 (集)的不可辨识性和云计算技术MapReduce设计 了适合数据并行的差别矩阵，并首次提出了面 向大规模数据的差别矩阵知识约简算法。实验结果表明该知识约简算法是有效可行的，且具有较好的可扩展性。 关键词 云计算，差别矩阵，知识约简，粗糙集 中图法分类号 TP18 文献标识码 A ResearchonDiscernibilityM atrixKnowledgeRdeuctionAlgorithm inCloudComputing QIANJin。。。 MIAODuo—qian’。 ZHANG Ze-hua’。 (DepartmentofComputerScienceandTechnology，TongjiUniversity，Shanghai201804，CIlina) (SchoolofComputerEngineering，JiangsuTeachersUniversityofTechnology，Changzhou213001，China)。 (KeyLaboratoryofEmbeddedSystem ServiceComputing，MinistryofEducationofChina，TonNiUniversity，Shanghai201804，China)。 Abstract Knowledgereductionisoneoftheimportantresearchissuesinroughsettheory．Classicalknowledgeredue— tionalgorithmscanonlydealwithsmalldatasets，whiletheexistingparallelknowledgereductionalgorithmsassumeall thedatasetscanbeloadedintothemainmemoryandonlyimplementreductiontasksconcurrently，whichiSinfeasible forhandlinglarge-scaledata．M assivedatawithhighdimensionmakesattributereductionachallengingtask．Tosolve thisproblem ，thecharacteristicsofdiscernibilitymatrixcellswereanalyzed，and discernibilitymatrixfordataparallel wasdesignedintermsoftheindiscernibilityoftheattribute(s)andMapReduceprogrammingmode1．Thus，large-scale dataorienteddiscernibilitymatrixknowledgereductionalgorithm incloud computingwasproposed．Theexperimental resultsdemonstratethatourproposedalgorithm canscalewellandefficientlyprocesslarge-scaledatasetso