基于布尔矩阵和mapreduce的fpgrowth算法.pdfVIP

华 南 理 工 大 学 学 报 （自然科 学版 ） 第４２卷 第１期 ＪｏｕｒｎａｌｏｆＳｏｕｔｈＣｈｉｎａＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ Ｖｏｌ．４２　Ｎｏ．１ ２０１４年１月 （ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ） Ｊａｎｕａｒｙ　２０１４ 文章编号：１０００５６５Ｘ（２０１４）０１０１３５０７ 　 基于布尔矩阵和 ＭａｐＲｅｄｕｃｅ的ＦＰＧｒｏｗｔｈ算法 陈兴蜀　张帅　童浩　崔晓靖 （四川大学 计算机学院，四川 成都６１００６５） 摘　要：关联规则挖掘是数据挖掘的一个重要组成部分．为提高关联规则的挖掘效率，提 出了一种基于布尔矩阵和ＭａｐＲｅｄｕｃｅ的ＦＰＧｒｏｗｔｈ算法（ＢＰＦＰ），分析了算法的时间和空 间复杂度．该算法使用Ｈａｄｏｏｐ框架和布尔矩阵以减少对事务数据的扫描次数，利用两次 ＭａｐＲｅｄｕｃｅ来实现频繁项集的挖掘．在多个数据集上的实验结果表明，与原ＦＰＧｒｏｗｔｈ算 法相比，ＢＰＦＰ算法具有更高的执行效率、更好的加速比． 关键词：数据挖掘；关联规则；布尔矩阵；ＭａｐＲｅｄｕｃｅ；ＦＰＧｒｏｗｔｈ算法 中图分类号：ＴＰ３１１　 ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１０００５６５Ｘ．２０１４．０１．０２３ ［１２］ 　　关联规则挖掘（ＡＲＭ）是数据挖掘领域中一个 行计算．ＭａｐＲｅｄｕｃｅ 是一种简洁抽象的并行计算 非常重要且具有挑战性的研究课题．与其他数据挖 模型，Ａｐａｃｈｅ基金会在此基础上实现了开源的并行 掘算法相比，关联规则挖掘具有挖掘效率高、准确性 平台Ｈａｄｏｏｐ，该平台已在学术界和工业界得到了广 好、理解性强等优点．通常，关联规则挖掘和频繁项 ［１３］ ［１４］ 泛的应用．ＯＰＴＤＩＣ 、ＭＲＡｐｒｉｏｒｉ 、Ａｐｒｉｏｒｉｌｉｋｅ 集挖掘（ＦＩＭ）密切相关，ＦＩＭ被认为是ＡＲＭ的先决 ［１５］ 算法 与其他分布式Ａｐｒｉｏｒｉ算法相比具有更好的 ［１］ ［２３］ 条件．ＡＲＭ 常用 的算法有 Ａｐｒｉｏｒｉ 、ＤＨＰ 、 性能和可伸缩性，但同步和通信等开销较大．为此， ［４］ ［５６］ ［１６］ ＤＩＣ 、ＦＰＧｒｏｗｔｈ 等，在加速挖掘性能上，它们起 Ｙｕ等 在Ｈａｄｏｏｐ平台上改进了Ａｐｒｉｏｒｉ算法，尽管 着重要的作用．将这些算法应用于ＦＩＭ，已取得了许 能处理一定的海量数据，但需要的时间并没有线性 多成果． 地减少，同时需要生成候选集才能产生最终的频繁 ［７］ 近年来兴起的云计算 以其超大规模、虚拟化、 集，并且该算法对事务数据的扫描次数也没有减少． 高可靠性、高扩展性等优点为海量数据的处理带来 ［１７］ ＰＦＰ算法 在ＦＰＧｒｏｗｔｈ算法的基