基于 MapReduce 的分块压缩矩阵Apriori 的并行化研究.pdfVIP

第18卷第4 期 西安文理学院学报(自然科学版) Vol.18 No.4 2015年10 月 JournalofXi’anUniversity(NaturalScienceEdition) Oct.2015 文章编号2015 基于 MapReduce 的分块压缩矩阵 Apriori 的并行化研究 罗 芳,阮群生,李志亮,曾思南 (宁德师范学院计算机系,福建宁德352100) 摘 要:针对经典的Apriori算法需要多次扫描数据库,不适合大规模数据这个问题,提出了一种改 进的Apriori算法.该算法采用布尔向量关系运算思想,将事务数据库扫描后转化成压缩矩阵,在MapRe duce框架下将压缩矩阵进行分块,每块分别被做并列式处理.利用分压缩矩阵快速计算所有的候选项 集,从中产生频繁K 项集,降低了Apriori算法的时间复杂度. 关键词:关联规则;MapReduce;压缩矩阵;Apriori 中图分类号:TP391 文献标志码:A ParallelStudyontheAprioriAlgorithmofCompressionMatrix BasedonMapReduceProgrammingMode LUOFang,RUANQun-sheng,LIZhi-liang,ZENGSi-nan (DepartmentofComputerScience,NingdeNormalUniversity,Ningde352100,China) Abstract:InviewoftheproblemoftheclassicApriorialgorithmneedtoscanthedatabasere- peatedlyanditisnotsuitableforlarge-scaledata,inthispaper,animprovedApriorialgorithm was proposed,whichusedtherelationshipoperationoftheBooleanvector,andtransformedthe transactiondatabaseafterscanninginto a compression matrix.Underthe MapReduce frame- work,the compression matrix was divided into blocks for distributed processing.Sub-com- pressionmatrixwasusedtodofastcalculationforallcandidatesets,andthefrequentK setshad beengeneratedfromallofabove,finally,thetimecomplexityofApriorialgorithmwasreduced. Keywords:associationrules;MapReduce;compressionmatrix;Apriori 关联规则挖掘是一项常用的数据挖掘技术,在商品销售领域得到了越来越广泛的应用.随着大型超 市的出现,如何从海量的商品数据中提取有用的信息,并对顾客的需求进行有效的预测,为超市的管理 者提供决策支持成了当前的热点问题.Apriori算法[1-2]是关联规则挖掘中最经典的算法之一,传统的 收稿日期 基金项目:福建省自然科学基金项目(2015J01660);宁德师范学院服务海西资助项目(2012H405);福建省大学生创 新创业训练计划项目(201410398059) 作者简介:罗 芳(1981—),女,福建福安人,宁德师范学院计算机系讲师,主要从事智能控制系统 数据库管理系统 研究. 第4 期 罗芳,等