云计算环境下知识约简算法-云计算论坛.pdfVIP

第 34卷 第 12期 计 算 机 学 报 Vo1．34 No．12 2011年 12月 CHINESEJOURNAL OFCOMPUTERS Dec．2Ol1 云计算环境下知识约简算法 钱 进”。 苗夺谦” 张泽华”’ ”(同济大学计算机科学与技术系 上海 201804) ’(江苏技术师范学 院计算机工程学 院 江苏 常州 213001) ”(同济大学嵌入式系统与服务计算教育部重点实验室 上海 201804) 摘 要 知识约简是粗糙集理论的重要研究 内容之一．经典的知识约简算法是假设所有数据～次性装入 内存 中， 这显然不适合处理海量数据．为此，从属性 (集)的可辨识性和不可辨识性出发，给出了可辨识和不可辨识对象对的 概念及其性质 ，并阐述 了它们与差别矩阵的关系．利用 MapReduce设计 了并行计算等价类的方法 ，提出了面向大规 模数据的数据并行知识约简算法，讨论并实现了3种并行策略．最后，通过实验表明了云计算环境下知识约简算法 是有效可行的，具有较好 的可扩展性． 关键词 云计算 ；粗糙集 ；知识约简；数据并行；MapReduce 中图法分类号 TP311 DOI号 ：10．3724／SP．J．1016．2011．02332 KnowledgeReductionAlgorithmsinCloudComputing QIAN Jin ’’ MIAODuo—Qian ZHANG Ze—Hua ，。 ”(DepartmentofComputerScienceandTechnology，TongjiUniversity，Shanghai 201804) (SchoolofComputerEngineering，JiangsuTeachersUniversityofTechnology，Changzhou，Jiangsu 213001) 。(KeyLaboratoryofEmbeddedSystem ServiceComputing，MinistryofEducationofChina，TongjiUniversity，Shanghai 201804) Abstract Knowledgereductionisoneoftheimportantresearchissuesinroughsettheory．Clas— sicalknowledgereductionalgorithmsassumeallthedatasetscanbeloadedintothemainmemory． whichareinfeasibleforlarge—scaledatasets．M assivedatawith high dimensionsmakesattribute reductionachallengingtask．Tothisend，theconceptsandpropertiesofdiscernibilityandindis— cernibilityobjectpairsaregivenintermsofthediscernibilityandindiscemibmtyoftheattribute(s)． Therelationshipbetweendiscernibilitymatrixandthem isillustrated indetail．Then，analgo— rithm ofcomputingequivalenceclassesisdesignedforlarge—scaledatain dataparallel，and the correspondingknowledgereduction algorithmsareproposed in cloud computing．Finally，three parallelism strategiesareimple