基于云计算及数据挖掘技术海量数据处理研究.pdfVIP

第36 卷第6 期 长春理工大学学报 （自然科学版） Vol.36 No.6 2013 年12月 Journal of Changchun University of Science and Technology （Natural Science Edition ） Dec.2013 基于云计算及数据挖掘技术的海量数据处理研究 王鹏，王健安，郭畅，巴济慈 （长春理工大学 计算机科学技术学院，长春 130022） 摘 要：主要介绍了在HADOOP平台下使用优化的SPRINT算法进行海量数据处理。首先介绍了传统的数据挖掘算法 SPRINT算法，然后结合云计算中的MapReduce编程模式对SPRINT算法进行改进和优化，将并行的SPRINT算法移植到 HADOOP平台下，最后通过实验实现分布式数据处理。 关键词：云计算；数据挖掘；SPRINT；HADOOP；MapReduce 中图分类号： TP31 文献标识码：A 文章编号：1672-9870（2013）06-0157-04 ResearchonMassiveDataProcessingBasedon CloudComputingandDataMining WANGPeng，WANGJianan，GUOChang，BAJici （SchoolofComputerScienceandTechnology，ChangchunUniversityofScienceandTechnology，Changchun 130022） Abstract：In this paper，optimized SPRINT algorithm which was used in the Hadoop platform for mass data process- ing was introduced. Firstly，the SPRINT algorithm which is the traditional data mining algorithm was introduced and then was combined with the Map Reduce model in the cloud computing to improve and optimize the SPRINT algo- rithm. At last，the parallel SPRINT algorithm will be transplanted to the HADOOP platform，and finally the distribut- eddataprocessingwasachieved through the experiment. Keywords：cloudcomputing；data mining；SPRINT；hadoop；mapReduce 随着网络技术的飞速发展，存储于计算机中的 的百分之一。因此，我们把重点放在树的创建上；另 数据文件呈爆炸式的发展。这些数据又称为海量数 外一方面，基于二叉树简洁又精准的特点，本文选择 据，这类数据常常伴随着噪声而且是异构数据，其很 的是创建二叉树。 难直接被用户理解。如何从这样的数据里提取出规 1.1 数据结构 律和模式已经成为一个难题。数据挖掘作为一门能 SPRINT算法表示数据特征的方式是采用属性 够高效的、便于扩展的解决以上问题的技术应运而 表与直方图这两种数据结构，其中，后者是依附在前 生。选择云计算做海量数据的分类数据挖掘处理， 者之上，而前者又是随着节点的划分而分裂的。它 可以减少构建分布式计算平台的开销，同时将底层 会依据属性的不同性质，如连续型或离散型而显现 屏蔽掉，便于开发，使得原有的设备拥有对大数据集 的较高处理效率，增加了节点的个数和容错能力，提 出相应的表现形式。