一种基于MapReduce的频繁闭项集挖掘算法.pdf

第25卷第2期 模式识别与人工智能 Vol-25No．2 2012年4月 PR＆M Apr 2012 一种基于MapReduce的频繁闭项集挖掘算法 陈光鹏 杨育彬 高 阳 商琳 (南京大学计算机软件新技术国家重点实验室南京210093) 摘要频繁闭项集的挖掘是发现数据项之间关联规则的一种有效方式．当前以MapReduce模式为基础的云计算 平台为解决海量数据中的关联规则挖掘问题提供新的解决思路．文中提出并实现一种基于I-ladoop云计算平台的频 繁闭项集的并行挖掘算法．该算法主要包括并行计数、构造全局频繁项表、并行挖掘局部频繁闭项集和并行筛选全局 频繁闭项集四个步骤．在多个数据集上的实验表明，该方法能较大提高数据挖掘的效率，具有较好的加速比． 关键词云计算，并行算法，数据挖掘，频繁闭项集，MapReduce 311 中图法分类号TP Closed Itemset Basedon FrequentMining MapReduce CHEN Lin Guang-Peng，YANGYu-Bin，GAOYang，SHANG (State Novel 210093) KeyLaboratoryforSos危wareTechnology，NanjingUnivenity，Nanjing ABSTRACT Closed itemset isanusefulfor associationrulesfromdata．Cloud frequent mining way discovering infrastructurebasedon a solutiontoaddressthe computing MapReduceprovidespromising problem．A for closed itemsetis basedonthe cloud parallelalgorithmmining frequent presented Hadoopcomputing four F—List methodconsistsof platform．The steps：parallelcounting，globalconstructing，parallelmining and closed itemset．The oflocalclosed itemset of frequent parallelfiltratingglobal frequent experimental andshowthatitiseffectivewithasatisfied resultsvalidatethemethod speedup． WordsCloud Key Computing，ParallelAlgorithm，DataMining，ClosedFrequentItemset， MapReduce 1 引 言 在适用性、挖掘效率、准确性和可理解性等方面常优