基于MapReduce的高效用序列模式挖掘算法-计算机系统应用.PDF

计 算 机 系 统 应 用 2015 年 第 24 卷 第 12 期 ① 基于MapReduce 的高效用序列模式挖掘算法 程思远, 马 超, 李聪聪 (复旦大学 计算机科学技术学院, 上海 201203) (上海市数据科学重点实验室(复旦大学), 上海 201203) 摘 要: 由于数据规模的快速增长, 高效用序列模式挖掘算法效率严重下降. 针对这种情况, 提出基于 MapReduce 的高效用序列模式挖掘算法 HusMaR. 算法基于 MapReduce 框架, 使用效用矩阵高效地生成候选项; 使用随机映射策略均衡计算资源; 使用基于领域的剪枝策略来防止组合爆炸. 实验结果表明, 在大规模数据集下, 算法取得了较高的并行效率. 关键词: 序列模式; MapReduce; 剪枝策略; 高效用序列模式挖掘; 随机策略 High Utility Sequential Pattern Mining Algorithm Based on MapReduce CHENG Si-Yuan, MA Chao, LI Cong-Cong (School of Computer Science, Fudan University, Shanghai 201203, China) (Shanghai Key Laboratory of Data Science, Fudan University, Shanghai 201203, China) Abstract: Because of the rapid growth of data, the high utility sequential pattern mining algorithms’ efficiency decreases seriously. In view of this, we propose a high utility sequential pattern mining algorithm based on MapReduce, namely HusMaR. This algorithm is based on MapReduce, which using the utility matrix to generate candidate efficiently, random mapping strategy to balance of computing resources and field-based pruning strategy to prevent an explosion. Experimental results show that in the large scale of data, the algorithm achieves a high parallel efficiency. Key words: sequential pattern; MapReduce; pruning strategy; high utility sequential pattern mining; random strategy [5] [6] [6] 在传统的序列模式挖掘应用中, 是将支持度(频次) 算法 , UI 算法 和 US 算法 ), 当面对大规模数据集 作为选择序列模式的基准[1-3]. 但是在实际应用中, 这 的输入时, 算法的运行效率会严重下降, 并且在大数 种基于支持度框架的序列模式挖掘算法得出的结果往 据环境下, 单机将无法