IFAMR-一种基于MapReduce的高效频繁项挖掘算法.pdfVIP

第 34 卷 第 2 期 广东工业大学学报 Vol. 34 No. 2 2017 年 3 月 Journal of Guangdong University of Technology March 2017 doi: 10.12052/gdutxb.150120 IFAMR ：一种基于MapReduce的高效 频繁项挖掘算法 刘祥佳，程良伦 （广东工业大学 计算机学院， 广东 广州 510006 ） 摘要: 针对单机无法高效地利用现有的并行计算框架来加快对海量数据进行频繁项挖掘的问题, 根据Apriori算法基本 原理, 结合MapReduce并行计算模型的优势, 在FAMR算法的基础上提出了一种改进的高效频繁项挖掘算法IFAMR. 该 算法首先采用AprioriTID算法来对原始数据进行预处理, 删除所有的低频1-项集, 然后计算出每次处理集(L)和最小支 持度(N)的长度来确定Map操作结束后的最大合并候选集合. IFAMR算法减少了Map函数中的低频项集的生成, 通过与 已有的算法进行实验对比表明, 该算法有效地减少了内存占用, 提高了算法的挖掘效率. 关键词: 频繁项集挖掘；MapReduce；FAMR；Apriori；Hadoop 中图分类号: TP311 文献标志码: A 文章编号: 1007–7162(2017)02–0086–06 IFAMR: An Efficent Frequent Itemset Mining Algorithm Based on MapReduce Liu Xiang-jia, Cheng Liang-lun (School of Computers, Guangdong University of Technology, Guangzhou 510006, China) Abstract: Considering that single host in the existing parallel computing framework is not efficient in accelerating massive data mining frequent item, an improved efficient algorithm for mining frequent item IFAMR is proposed, combining the advantages of the MapReduce parallel computing model according to the basic principle of Apriori algorithm and based on the algorithm FAMR. This algorithm first uses AprioriTID algorithm to preprocess the raw data, dele