基于MapReduce的Hmine算法.PDFVIP

第３３卷第３期 计 算 机 应 用 研 究 Ｖｏｌ．３３Ｎｏ．３ 　 　 ２０１６年３月　 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ｍａｒ．２０１６ 基于ＭａｐＲｅｄｕｃｅ的Ｈｍｉｎｅ算法 冯兴杰，赵　杰 （中国民航大学计算机科学与技术学院，天津３００３００） 摘　要：频繁模式挖掘是一种非常有效地从数据中获取知识的方法，但是随着大数据时代的来临，现有算法及 其计算环境的运算速度、内外存容量面临严峻挑战。针对以上问题，紧密结合ＭａｐＲｅｄｕｃｅ模型提供的高效分布 式编程和运行框架，在深入分析Ｈｍｉｎｅ频繁模式挖掘算法的基础上，通过对Ｈｍｉｎｅ算法频繁模式挖掘过程的 并行化改进，提出了一种新颖的基于ＭａｐＲｅｄｕｃｅ模型的Ｈｍｉｎｅ算法（简称ＭＲＨｍｉｎｅ）。ＭＲＨｍｉｎｅ算法实现了 对Ｈｍｉｎｅ算法在分布式运行环境下的改造，实验表明该算法在面对数据大规模增长的情况下具有良好的性能 和扩展性。 关键词：分布式数据挖掘；ＭａｐＲｅｄｕｃｅ；Ｈｍｉｎｅ；并行化；Ｈａｄｏｏｐ 中图分类号：ＴＰ３０１．６　　　文献标志码：Ａ　　　文章编号：１００１３６９５（２０１６）０３０７５４０５ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１３６９５．２０１６．０３．０２６ ＭａｐＲｅｄｕｃｅｂａｓｅｄＨｍｉｎｅａｌｇｏｒｉｔｈｍ ＦｅｎｇＸｉｎｇｊｉｅ，ＺｈａｏＪｉｅ （ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，ＣｉｖｉｌＡｖｉａｔｉｏｎＵｎｉｖｅｒｓｉｔｙｏｆＣｈｉｎａ，Ｔｉａｎｊｉｎ３００３００，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｆｒｅｑｕｅｎｔｐａｔｔｅｒｎｍｉｎｉｎｇｉｓａｖｅｒｙｅｆｆｅｃｔｉｖｅｋｎｏｗｌｅｄｇｅａｃｑｕｉｓｉｔｉｏｎｍｅｔｈｏｄｆｒｏｍｔｈｅｄａｔａ，ｂｕｔｗｉｔｈｔｈｅａｄｖｅｎｔｏｆｔｈｅ ｅｒａｏｆｂｉｇｄａｔａ，ｔｈｅｅｘｉｓｔｉｎｇａｌｇｏｒｉｔｈｍａｎｄｉｔｓｃｏｍｐｕｔｉｎｇｅｎｖｉｒｏｎｍｅｎｔｓｃｏｍｐｕｔａｔｉｏｎｓｐｅｅｄａｎｄｓｔｏｒａｇｅｃａｐａｃｉｔｙｉｓｆａｃｉｎｇｓｅｖｅｒｅ ｃｈａｌｌｅｎｇｅｓ．Ｆｏｒｔｕｎａｔｅｌｙ，ＭａｐＲｅｄｕｃｅｍｏｄｅｌｐｒｏｖｉｄｅｓａｎｅｆｆｉｃｉｅｎｔｆｒａｍｅｗｏｒｋｆｏｒｄｉｓｔｒｉｂｕｔｅｄｐｒｏｇｒａｍｍｉｎｇａｎｄｏｐｅｒａｔｉｏｎｆｒａｍｅ ｗｏｒｋ．ＢａｓｅｄｏｎｄｅｐｔｈａｎａｌｙｓｉｓｏｆｔｈｅＨｍｉｎｅａｌｇｏｒｉｔｈｍｓａｎｄｐａｒａｌｌｅｌｉｚｉｎｇＨｍｉｎｅａｌｇｏｒｉｔｈｍｓ，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａｎｏｖｅｌＭａ ｐＲｅｄｕｃｅｂａｓｅｄＨｍｉｎｅａｌｇｏｒｉｔｈｍ（ｉｔｃａｌｌｔｈｅｐａｒａｌｌｅｌａｌｇｏｒｉｔｈｍＭＲＨｍｉｎｅ）．ＭＲＨｍｉｎｅａｌｇｏｒｉｔｈｍａｃｈｉｅｖｅｔｈｅｔｒａｎｓｆｏｒｍａｔｉｏｎ ｏｆＨｍｉｎｅａｌｇｏｒｉｔｈｍｉｎｔｈｅｄｉｓｔｒｉｂｕｔｅｄｏｐｅｒａｔｉｏｎｅｎｖｉｒｏｎｍｅｎｔ，ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｉｎｔｈｅｆａｃｅｏｆｍａｓｓｉｖｅｄａｔａ ｇｒｏｗｔｈ，ＭＲＨｍｉｎｅａｌｇｏｒｉｔｈｍｈａｖｅａｇｏｏｄｐｅｒｆｏｒｍａｎｃｅａｎｄｓｃａｌａｂｉｌｉｔｙ． Ｋｅｙｗｏｒｄｓ：ｄｉｓｔｒｉｂｕｔｅｄｄａｔａｍｉｎｉｎｇ；ＭａｐＲｅｄｕｃｅ；Ｈｍｉｎｅ；ｐａｒａｌｌｅｌｉｚａｔｉｏｎ；Ｈａｄｏｏｐ 　　随着互联网技术的不断进步，特别是大数据时代的来临， 序的难度，而且增强了分布式计算的可靠性。Ａｐａｃｈｅ基金会 如何更加充分地利用这些数据为生产和生活服务成为当前