《一种基于位图计算并行挖掘大数据频繁模式算法.》.pdfVIP

小 型 微 型 计 算 机 系 统 2014年7月 第7期 JournalofChineseComputerSystems Vo1．35 No．7 2014 一 种基于位图计算并行挖掘大数据频繁模式算法 陈 辉 (江西财经大学 软件与通信工程学院，南昌330012) E—mail：comdoc@ 126．com 摘 要：设计了一种基于MapReduce框架并行挖掘大数据频繁模式的算法，算法首先研究了运用位 图计算发现数据集频繁模 式的方法；并对传统MapReduce框架进行扩展，增加 了位图计算和不重要模式剪枝等计算功能；为了提高大数据模式挖掘的性 能．还设计模式剪枝算法来识别并删除数据集q-的不重要模式．最后 ，实验结果表明，该算法具有很强的可扩展性，并优于其它 同类算法． 关 键 词 ：大数据 ；频繁模式挖掘 ；位图计算；MapReduce框架 中图分类号：TP311 文献标识码：A 文 章 编 号 ：1000-1220(2014)07-1599-05 ParallelM iningFrequentPatternsinBigDataBasedonBitmap Compuattion CHEN Hui (SchoolofSoRwareandCommunicationEngineering。JinagxiUniversityofFinnaceandEconomics。Nnachnag330012．China) Abstract： spaperproposedaparallelalgorithm ofminingfrequentpatternsinbigdatausingextendedMapReduce．First。wealia- lyzethefrequentpattern miningmethodusingbitmapcomputationbyscanninghtedatasetonlyonce．Secondly，weextendedhtetra· ditionalMapReduceframebyaddinghtebitmap computationandfrequentminingfunction．Inordertoimprovehteperformna ceof miningbigdata，analgorithm ofpruninginsignificnatpatternsindatasetisalsopresented．Finally-hteexperimentalresultsshow htat hteproposde methodisefficient。stronginscalability，andpriortona alogousalgorihtms． Keywords：bigdata；frqeuentpatternmi ning；bitmapcomputation；MapReducerfma e l 引 言 中包含 P的事务集大小与 大小的比值．如果P的支持度 大于某个给定的最小支持度门限0(001)，则称P为频繁 近年来，随着互联网、物联网、云计算等IT与通信技术的 模式．给定事务数据集 和最小支持度门限0，频繁模式挖 迅猛发展，数据的快速增长成了很多行业共同面对的严峻挑 掘的任务就是找出 中所有支持度不小于 0的模式． 战和宝贵机遇，因而信息社会已经进入了大数据 (BigDaat) 在过去的近二十年里，挖掘传统事务数据库频繁模式一 时代．一般意义上 ，大数据是指无法在一定时间内用常规机器 直是研究的热点，也提出了很多模式挖掘的方法．其中，Apri— 和软硬件工具对其进行感知、获取、管理、处理和服务的数据 ori—like算法 和模式增长算法 剖是两类最有代表性 的方 集合…．大数据的特点可以总结为4个V，即：Volume(体量 法．Apriori算法 最早 由Agrawal和 Sriknat提出，并基于 浩大)、Var