分布式频繁项集挖掘算法-计算机应用与软件.pdfVIP

第３２卷第１０期　　　 计算机应用与软件 Ｖｏｌ３２Ｎｏ．１０ ２０１５年１０月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｏｃｔ．２０１５ 分布式频繁项集挖掘算法 陈 明 洁 （上海市公安局科技处　上海２０００２５） 摘　要　　传统的频繁项集挖掘方法具有一定的局限性。Ａｐｒｉｏｒｉ算法需要重复扫描输入数据，导致很高的Ｉ／Ｏ负载，算法性能不 高；Ｆｐｇｒｏｗｔｈ算法需要在内存中建立Ｆｐｔｒｅｅ并根据Ｆｐｔｒｅｅ挖掘频繁项集，导致算法受到计算机的内存限制。在大数据时代，由于 挖掘数据规模十分巨大，更加凸显这些传统算法的局限性。对此，一方面改进传统的频繁项集挖掘算法，另一方面基于Ｓｐａｒｋ框架 实现分布式频繁项集挖掘算法（ＦＩＭＢＳ）。实验结果表明，该算法相比基于ＭａｐＲｅｄｕｃｅ框架的关联规则算法具有显著的优势。 关键词　　频繁项集挖掘　分布式算法　Ｓｐａｒｋ　ＭａｐＲｅｄｕｃｅ 中图分类号　ＴＰ３　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１５．１０．０１４ ＡＤＩＳＴＲＩＢＵＴＥＤＦＲＥＱＵＥＮＴＩＴＥＭＳＥＴＭＩＮＩＮＧＡＬＧＯＲＩＴＨＭ ＣｈｅｎＭｉｎｇｊｉｅ （ＳｈａｎｇｈａｉＭｕｎｉｃｉｐａｌＰｕｂｌｉｃＳｅｃｕｒｉｔｙＢｕｒｅａｕ，Ｓｈａｎｇｈａｉ２０００２５，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｔｒａｄｉｔｉｏｎａｌｆｒｅｑｕｅｎｔｉｔｅｍｓｅｔｍｉｎｉｎｇａｌｇｏｒｉｔｈｍｓｈａｖｅｃｅｒｔａｉｎｌｉｍｉｔａｔｉｏｎｓ．Ｆｏｒｅｘａｍｐｌｅ，Ａｐｒｉｏｒｉａｌｇｏｒｉｔｈｍｈａｓｔｏｓｃａｎｔｈｅｉｎｐｕｔ ｄａｔａｒｅｐｅａｔｅｄｌｙ，ｗｈｉｃｈｌｅａｄｓｔｏｈｉｇｈＩ／Ｏｌｏａｄａｎｄｌｏｗｐｅｒｆｏｒｍａｎｃｅ，ｗｈｉｌｅＦＰＧｒｏｗｔｈａｌｇｏｒｉｔｈｍｉｓｌｉｍｉｔｅｄｂｙｔｈｅｃａｐａｃｉｔｙｏｆｃｏｍｐｕｔｅｒ’ｓ ｍｅｍｏｒｙｂｅｃａｕｓｅｉｔｎｅｅｄｓｔｏｂｕｉｌｄａｎＦＰｔｒｅｅｉｎｔｈｅｍｅｍｏｒｙａｎｄｔｏｍｉｎｅｆｒｅｑｕｅｎｔｉｔｅｍｓｅｔａｃｃｏｒｄｉｎｇｔｏＦＰｔｒｅｅ．Ｉｎｂｉｇｄａｔａｅｒａ，ｔｈｅｓｅ ｌｉｍｉｔａｔｉｏｎｓｂｅｃｏｍｅｍｏｒｅｐｒｏｍｉｎｅｎｔ，ｆｏｒｔｈｅｓｃａｌｅｏｆｄａｔａｍｉｎｉｎｇｉｓｓｏｌａｒｇｅ．Ｉｎｔｈｉｓｐａｐｅｒｗｅｉｍｐｒｏｖｅｔｈｅｔｒａｄｉｔｉｏｎａｌｆｒｅｑｕｅｎｔｉｔｅｍｓｅｔｍｉｎｉｎｇ ａｌｇｏｒｉｔｈｍｓｏｎｏｎｅｈａｎｄ，ａｎｄｏｎｔｈｅｏｔｈｅｒｈａｎｄｂａｓｅｄｏｎＳｐａｒｋｆｒａｍｅｗｏｒｋｗｅｉｍｐｌｅｍｅｎｔｔｈｅｄｉｓｔｒｉｂｕｔｅｄｆｒｅｑｕｅｎｔｉｔｅｍｓｅｔｍｉｎｉｎｇａｌｇｏｒｉｔｈｍ （ＦＩＭＢＳ）．ＥｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅＦＩＭＢＳｈａｖｅａｐｐａｒｅｎｔａｄｖａｎｔａｇｅｓｏｖｅｒｔｈｅａｓｓｏｃｉａｔｉｏｎｒｕｌｅｓａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎＭａｐＲｅｄｕｃｅ ｆｒａｍｅｗｏｒｋ． Ｋｅｙｗｏｒｄｓ　　Ｆｒｅｑｕｅｎｔｉｔｅｍｓｅｔｍｉｎｉｎｇ　Ｄｉｓｔｒｉｂｕｔｅｄａｌｇｏｒｉｔｈｍ　Ｓｐａｒｋ　ＭａｐＲｅｄｕｃｅ 重新开始计算。此外，也有部分学者提出基于ＭａｐＲｅｄｕｃｅ框架 ［６］，一种开源的可 ０　引　言 的频繁项集挖掘算法。借助于ＡｐａｃｈｅＨａｄｏｏｐ 扩展的分布式系统基础架构（内嵌了ＭａｐＲｅｄｕｃｅ计算框架），使 随着移动互联网技术，传感