一种新的基于MapReduce的并行关联规则算法.pdfVIP

第17卷第3期 重庆科技学院学报(自然科学版) 2015年6月 潘燕燕 (福建船政交通职业学院信息工程系，福州350007) 摘要：传统的关联规则算法要对数据库进行多次扫描，效率低下。使用MapReduce模型对Apriori算法进行改进， 这种改进后的算法只需对数据库进行2次扫描，从实验结果可以看出挖掘效率得到明显提高。 关键词：MapReduce；关联规则；数据挖掘 中图分类号：TP311 文献标识码：A 文章编号：1673—1980(2015)03—0088—04 关联规则挖掘是数据挖掘中的重要研究方法之 一。关联规则是通过对数据库里面的数据进行分 函数接收中间值作为输入进行处理，得到新的 析，找出数据项之间的相关信息，它的核心是通过数 key，value，最终得到结果。 据项统计计算频繁项目集。Apriori算法是传统的关 2基于MapReduce的改进算法 联规则算法，缺点是要多次扫描数据库，同时产生的 候选项很多。基于这些缺点已经有很多种改进算 2．1 Apriori的改进算法 法，罗可等人…提出了一种基于2次扫描数据库的 Apriori算法是传统的关联规则挖掘算法。首先 改进算法，陈自力旧。提出了一种基于幂集的改进算 通过扫描一次数据库得到频繁1——项集厶，￡，进 法，这些算法都是基于单机的。随着数据集的迅速 行自连接得到候选集C：，再次扫描数据库得到L：， 增长，传统的算法已经无法满足数据增长的需要。 ￡：进行自连接得到C。，以此类推直到不再产生新的 同时随着云计算的发展，MapReduce模型已经频繁项目集MJ。Apriori算法要多次扫描数据库，在 应用于关联规则挖掘，学者们提出了很多新的高效 时间和空间上面开销大。可以采用一种只要对数据 率的算法旧J。其中张圣Mo提出利用云计算来实现 库进行2次扫描，就得到所有的频繁项目集的方 的关联规则Apriori算法，提高了效率；陈方健等法¨J。首先扫描一次数据库，得到频繁1——项集 人”1提出布尔矩阵的MapReduce并行化算法，将数 三，，然后根据￡，产生所有的候选集(从2项到k 据库转化为布尔矩阵进行分布式处理。本次研究笔 项)，第二次扫描数据库，得到各项候选集的支持 者提出一种新的基于MapReduce的关联规则挖掘度，删除低于最小支持度的候选集，最终得到频繁项 算法，该算法经过2次扫描数据库，就能得到相应的 目集(从2项到k项)。 频繁集，从而提高挖掘效率。 2．2基于MapReduce的改进算法 MapReduce可以实现分布式处理大型数据，根 1 MapReduce编程模型 MapReduce编程模型是用来简化分布式系统的关联规则挖掘算法。 基本思路：把事务数据库D分成独立的数据子 编程，主要处理大数据集∞J。MapReduce编程模型 集，交由集群中的节点处理。节点扫描一遍数据，得 提供2个接口函数Map和Reduce，可以利用这2个 到局部候选1——项集C，，然后根据C。得到所有 函数实现对大量数据进行并行处理。MapReduce编 程模型首先将大数据分割，分割好的数据块交给节 的局部候选集(从2项到k项)，七≤数据子集中记录 点的Map函数进行处理，Map函数接收key，value的最大项目数，设置后可以在一定程度上减少候选 收稿日期：2014—09—05 基金项目：福建省交通厅科技发展项目“基于城市交通的应急决策模型构建”(201319)；福建船政交通职业学院科研项目“基 于校园网的