基于MapReduce的频繁项集并行挖掘算法-计算机应用与软件.PDF

第３２卷第９期　　　 计算机应用与软件 Ｖｏｌ３２Ｎｏ．９ ２０１５年９月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｓｅｐ．２０１５ 基于ＭａｐＲｅｄｕｃｅ的频繁项集并行挖掘算法 马　强　杨金民 （湖南大学信息科学与工程学院　湖南长沙４１００８３） 摘　要　　现有ＦＰｇｒｏｗｔｈ频繁集挖掘算法在处理大数据时存在时空效率不高的问题，且内存的使用随着数据的增加已经无法满足 把待挖掘数据压缩存储在单个内存中，为此，提出一种基于ＭａｐＲｅｄｕｃｅ模型的频繁项集并行挖掘算法。该算法采用一种基于ｋｅｙ／ ｖａｌｕｅ键值对直接扫描ｖａｌｕｅ寻找条件模式基的方式，同时通过在原有ＦＰｔｒｅｅ树节点中新增一个带频繁项前缀的域空间来构建一颗 新的条件模式树ＮＦＰｔｒｅｅ，使得对一项频繁项的条件模式基进行一次建树一次遍历就可以得到相应的频繁项集。对所提出的算法 在Ｈａｄｏｏｐ平台进行了验证与分析，实验结果表明该算法效率较传统ＦＰｇｒｏｗｔｈ算法平均提高１６．６％。 关键词　　频繁项集　ＦＰｇｒｏｗｔｈ　ＭａｐＲｅｄｕｃｅ　条件模式基　ＮＦＰｔｒｅｅ　并行 中图分类号　ＴＰ３　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１５．０９．００４ ＡＰＡＲＡＬＬＥＬＦＲＥＱＵＥＮＴＩＴＥＭＳＥＴＳＭＩＮＩＮＧＡＬＧＯＲＩＴＨＭＢＡＳＥＤＯＮＭＡＰＲＥＤＵＣＥ ＭａＱｉａｎｇ　ＹａｎｇＪｉｎｍｉｎｇ （ＣｏｌｌｅｇｅｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇ，ＨｕｎａｎＵｎｉｖｅｒｓｉｔｙ，Ｃｈａｎｇｓｈａ４１００８３，Ｈｕｎａｎ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　ＥｘｉｓｔｉｎｇｍｉｎｉｎｇａｌｇｏｒｉｔｈｍｓｏｆＦＰｇｒｏｗｔｈｆｒｅｑｕｅｎｔｉｔｅｍｓｅｔｈａｓｌｏｗｔｉｍｅａｎｄｓｐａｃｅｅｆｆｉｃｉｅｎｃｙｐｒｏｂｌｅｍｗｈｅｎｄｅａｌｉｎｇｗｉｔｈｌａｒｇｅ ｄａｔａ，ａｎｄｗｉｔｈｔｈｅｄａｔａｉｎｃｒｅａｓｅｔｈｅｍｅｍｏｒｙｕｓａｇｅｃａｎｎｏｌｏｎｇｅｒｓａｔｉｓｆｙｔｏｃｏｍｐｒｅｓｓａｎｄｓｔｏｒｅｔｈｅｄａｔａｔｏｂｅｍｉｎｄｅｄｉｎａｓｉｎｇｌｅｍｅｍｏｒｙ． Ｔｈｅｒｅｆｏｒｅ，ｔｈｅｐａｐｅｒｐｒｏｐｏｓｅｓａＭａｐＲｅｄｕｃｅｍｏｄｅｌｂａｓｅｄｐａｒａｌｌｅｌｍｉｎｉｎｇａｌｇｏｒｉｔｈｍｆｏｒｆｒｅｑｕｅｎｔｉｔｅｍｓｅｔ．Ｔｈｅａｌｇｏｒｉｔｈｍａｄｏｐｔｓａｗａｙｗｈｉｃｈ ｄｉｒｅｃｔｌｙｓｃａｎｓｖａｌｕｅｂａｓｅｄｏｎｋｅｙｖａｌｕｅｐａｉｒｓｔｏｌｏｏｋｆｏｒｔｈｅｃｏｎｄｉｔｉｏｎａｌｐａｔｔｅｒｎｂａｓｅ．Ｍｅａｎｗｈｉｌｅ，ｉｔａｌｓｏｃｏｎｓｔｒｕｃｔｓａｎｅｗｃｏｎｄｉｔｉｏｎｐａｔｔｅｒｎ ｔｒｅｅＮＦＰｔｒｅｅｂｙａｄｄｉｎｇａｄｏｍａｉｎｓｐａｃｅｗｉｔｈｆｒｅｑｕｅｎｔｉｔｅｍｐｒｅｆｉｘｉｎｏｒｉｇｉｎａｌＦＰｔｒｅｅｔｒｅｅｎｏｄｅ，ａｎｄｔｈａｔｍａｋｅｓｉｔｐｏｓｓｉｂｌｅｔｏｇｅｔｔｈｅ ｃｏｒｒｅｓｐｏｎｄｉｎｇｆｒｅｑｕｅｎｔｉｔｅｍｓｅｔｓｂｙｃｏｎｓｔｒｕｃｔｉｎｇｔｈｅｔｒｅｅｏｎｃｅａｎｄｔｒａｖｅｒｓｅｏｎｃｅｏｎｔｈｅｃｏｎｄｉｔｉｏｎｐａｔｔｅｒｎｂａｓｅｏｆａｆｒｅｑｕｅｎｔｉｔｅｍ．Ｔｈｉｓａｌｇｏｒｉｔｈｍ ｉｓｖｅｒｉｆｉｅｄａｎｄａｎａｌｙｓｅｄｏｎＨａｄｏｏｐｐｌａｔｆｏｒｍ，ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅａｌｇｏｒｉｔｈｍｉｓｍｏｒｅｅｆｆｉｃｉｅｎｔｔｈａｎｔｈｅｔｒａｄｉｔｉｏｎａｌＦＰｇｒｏｗｔｈ ａｌｇｏｒｉｔｈｍｂｙａｎａｖｅｒａｇｅｉｎｃｒｅａｓｅｏｆ１６．６％． Ｋｅｙｗｏｒｄｓ　　Ｆｒｅｑｕｅｎｔｉｔｅｍｓｅｔｓ　ＦＰｇｒｏｗｔｈ　ＭａｐＲｅｄｕｃｅ　Ｃｏｎｄｉｔｉｏｎａｌｐａｔｔｅｒｎ　ＮＦＰｔｒｅｅ　Ｐａｒａｌｌｅｌ 要递归构建ＦＰｔｒｅｅ，并且需要频繁遍历ＦＰｔｒ