一种基于MapReduce的粗糙集并行属性约简算法-中国云计算.PDF

第２７卷第１期 重庆邮电大学学报（自然科学版） Ｖｏｌ．２７　Ｎｏ．１ ２０１５年２月 ＪｏｕｒｎａｌｏｆＣｈｏｎｇｑｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＰｏｓｔｓａｎｄＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ） Ｆｅｂ．２０１５ ｄｏｉ：１０．３９７９／ｊ．ｉｓｓｎ．１６７３８２５Ｘ．２０１５．０１．０１６ 一种基于ＭａｐＲｅｄｕｃｅ的粗糙集并行属性约简算法 杨　勇，朱　影 （重庆邮电大学 计算智能重庆市重点实验室，重庆４０００６５） 摘　要：云计算技术是海量数据挖掘的一种高效解决方案，将ＭａｐＲｅｄｕｃｅ并行计算模型与粗糙集属性约简算法相 结合，提出一种基于ＭａｐＲｅｄｕｃｅ的浓缩布尔矩阵并行属性约简算法。该算法提高了粗糙集属性约简算法对大数据 的处理能力和效率，并能适应云计算环境。实验结果表明，所提算法具有良好的效率、加速比和可扩展性。 关键词：ＭａｐＲｅｄｕｃｅ；粗糙集；属性约简；浓缩布尔矩阵 中图分类号：ＴＰ１８１　　　　　　　　　文献标识码：Ａ 文章编号：１６７３８２５Ｘ（２０１５）０１００８９０８ ＡｐａｒａｌｌｅｌｒｏｕｇｈｓｅｔａｔｔｒｉｂｕｔｅｒｅｄｕｃｔｉｏｎａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎＭａｐＲｅｄｕｃｅ ＹＡＮＧＹｏｎｇ，ＺＨＵＹｉｎｇ （ＩｎｓｔｉｔｕｔｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＣｈｏｎｇｑｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＰｏｓｔｓａｎｄＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｃｈｏｎｇｑｉｎｇ４０００６５，Ｐ．Ｒ．Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｃｌｏｕｄｃｏｍｐｕｔｉｎｇｔｅｃｈｎｏｌｏｇｙｉｓａｈｉｇｈｅｆｆｉｃｉｅｎｔｓｏｌｕｔｉｏｎｆｏｒｍａｓｓｉｖｅｄａｔａｍｉｎｉｎｇ．ＭａｐＲｅｄｕｃｅ，ｔｈｅｐａｒａｌｌｅｌｃｏｍ ｐｕｔｉｎｇｍｏｄｅｌｉｓｃｏｍｂｉｎｅｄｗｉｔｈａｔｔｒｉｂｕｔｅｒｅｄｕｃｔｉｏｎａｌｇｏｒｉｔｈｍｏｆｒｏｕｇｈｓｅｔ，ａｎｄａｎｏｖｅｌｐａｒａｌｌｅｌｃｏｎｃｅｎｔｒａｔｉｏｎＢｏｏｌｅａｎｍａｔｒｉｘ ａｔｔｒｉｂｕｔｅｒｅｄｕｃｔｉｏｎａｌｇｏｒｉｔｈｍｉｓｐｒｏｐｏｓｅｄｉｎｔｈｉｓｐａｐｅｒ．Ｔｈｅａｌｇｏｒｉｔｈｍｉｍｐｒｏｖｅｓｔｈｅｃａｐａｃｉｔｙａｎｄｅｆｆｉｃｉｅｎｃｙｏｆｔｈｅｒｏｕｇｈｓｅｔ ａｔｔｒｉｂｕｔｅｒｅｄｕｃｔｉｏｎａｌｇｏｒｉｔｈｍｓｆｏｒｂｉｇｄａｔａ．Ｆｕｒｔｈｅｒｍｏｒｅ，ｉｔａｌｓｏａｄａｐｔｓｔｏｔｈｅｃｌｏｕｄｃｏｍｐｕｔｉｎｇｅｎｖｉｒｏｎｍｅｎｔ．Ｔｈｅｅｘｐｅｒｉｍｅｎ ｔａｌｒｅｓｕｌｔｓｉｌｌｕｓｔｒａｔｅｔｈｅｈｉｇｈｅｆｆｉｃｉｅｎｃｙ，ｓｐｅｅｄｕｐａｎｄｓｃａｌｅｕｐｏｆｔｈｅｐｒｏｐｏｓｅｄａｌｇｏｒｉｔｈｍ． Ｋｅｙｗｏｒｄｓ：ＭａｐＲｅｄｕｃｅ；ｒｏｕｇｈｓｅｔ；ａｔｔｒｉｂｕｔｅｒｅｄｕｃｔｉｏｎ；ｃｏｎｃｅｎｔｒａｔｉｏｎＢｏｏｌｅａｎｍａｔｒｉｘ 　　近年来，为了能够适应大数据的不断增长，许多 ０　引　言 学者为得到高效的属性约简算法进行了大量研究， ［１］ 文献［３］将分治法的思想和粗糙集算法相结合，在 粗糙集理论 是１９８２年由Ｚ．Ｐａｗｌａｋ教授提出 的，它可以有效地处理分析各种不完备信息，并能找 属性序给定的条件下，提出基于分治策略的属性约 出其潜在规律，所以近年来被广泛应用在数据挖掘、 简算法，文献［４］则是将并行思想与基于粗糙集理 ［２］ 论的快速属性约简相结合，提出了一种基于Ｒｏｕｇｈ 机器学习等多个领域 ，属性约简则是其中一个重 要的研究内容。随着科学技