基于MapReduce海量数据挖掘技术研究.pdfVIP

112 2013 ，49 （20 ） Computer Engineering and Applications 计算机工程与应用 基于MapReduce 的海量数据挖掘技术研究 1 2 1 3 李伟卫 ，赵 航 ，张 阳 ，王 勇 1 2 1 3 LI Weiwei , ZHAO Hang , ZHANG Yang , WANG Yong 1.西北农林科技大学 信息工程学院，陕西 杨凌 712100 2.西安电子科技大学 机电工程学院，西安 710072 3.西北工业大学 计算机学院，西安 710072 1.College of Information Engineering, Northwest AF University, Yangling, Shaanxi 712100, China 2.School of Mechano-Electronic Engineering, Xidian University, Xi ’an 710072, China 3.School of Computer, Northwestern Polytechnical University, Xi ’an 710072, China LI Weiwei, ZHAO Hang, ZHANG Yang, et al. Research on massive data mining based on MapReduce. Computer Engi- neering and Applications, 2013, 49 （20 ）：112-117. Abstract ：MapReduce is a programming model which can run in a heterogeneous environment for mining massive volume of data. It is simple to be implemented without paying attention to the underlying details and can be used for large-scale parallel computing. In this paper, three data mining algorithms, Naive Bayes, K -modes, ECLAT are implemented by employing the MapReduce programming model. The results indicate that MapReduce can perform the data mining tasks on massive volume of data efficiently. Key words ：cloud computing; data mining; Hadoop; MapReduce 摘 要：MapReduce 是一种编程模型，可以运行在异构环境下，编程简单，不必关心底层实现细节，用于大规模数据集的并 行运算。将MapReduce 应用在数据挖掘的三个算法中：朴素贝叶斯分类算法、K -modes 聚类算法和ECLAT 频繁项集挖掘 算法。实验结果表明，在保证算法准确率的前提下，MapReduce 可以有效提高海量数据挖掘工作的效率。 关键词：云计算；数据挖掘；Hadoop ；MapReduce 文献标志码：A 中图分类号：TP316.4 doi ：10.3778/j.issn. 1002-8331.1201-0298 1 引言 分布式数据挖掘平台PDMiner 已可实现TB 级别的海量数 随着互联网发展的逐渐深入，每时每刻都在不断产生 据处理；中国移动通信的并行数据挖掘工具BC-PDM 更是 着大量的数据。受计算能力、存储能力等因素的影响，传 提供了基于Web 的服务模式。这些标志性成果，大力推动 统的数据挖掘工作在处理海量数据时，会表现出存储量 了该领域的发展。 小、稳定性差、耗