一种基于Hadoop架构并行挖掘算法研究.docVIP

一种基于Hadoop架构的并行挖掘算法研究 　　摘 要： 基于Hadoop架构，提出一种并行的决策树挖掘算法实现大数据集间的知识挖掘。通过MapReduce并行编程模式实现Hadoop架构下SPRINT并行挖掘算法的频繁项集，解决了大数据集挖掘效率低下，时间消耗量大的问题。SPRINT算法通过对原始数据集进行划分，并将分块数据发给不同Map进程并行计算，使系统存储和计算资源得到有效利用，运用MapReduce各计算节点将挖掘结果数据汇聚，减少中间结果数据量，使并行挖掘时间显著减少。SPRINT算法并行化实验表明，Hadoop架构下的SPRINT并行挖掘算法具有良好的可扩展性和集群加速比。 　　关键词： 挖掘算法； Hadoop架构； SPRINT； 并行化； 决策树； MapReduce 　　中图分类号： TN911.1?34； TP311 文献标识码： A 文章编号： 1004?373X（2018）01?0117?03 　　Abstract： A parallel decision tree mining algorithm based on Hadoop is proposed to realize the knowledge mining between large data sets. The frequent item sets of SPRINT parallel mining algorithm under the Hadoop architecture is realized with the MapReduce parallel programming mode to solve the problems of low efficiency and large time consumption for large data sets mining. The original data set is divided with SPRINT algorithm， and its block data is sent to different Map process for parallel computing， which can utilize the system storage and computing resources availably. The MapReduce is used to aggregate the mining results of each computing node， reduce the data quantity of the intermediate results， and decrease the parallel mining time significantly. The SPRINT parallel algorithm was verified with experiments. The experimental results show that the SPRINT parallel mining algorithm under Hadoop architecture has strong scalability and perfect speedup ratio. 　　Keywords： mining algorithm； Hadoop architecture； SPRINT； parallelization； decision tree； MapReduce 　　0 引 言 　　?稻萃诰蚴峭ü?对数据的分析，在大量数据集中进行有价值信息寻找的技术。文献[1]提出一种决策树挖掘算法（SDT），SDT算法对未知数据集、已知数据集进行同时挖掘，并建立决策树，从而快速对未知数据集进行理解，进而对未知数据集的特性进行关注。但SDT算法以传统串行思想为基础，只能对小规模数据进行处理，对于规模大的数据，挖掘效率比较低下，在进行决策树的构造时，时间会较长，同时还会因内存限制，造成无法运行[2]。Hadoop从基础构架的角度来说属于分布式，能够在未知的条件下对分布式的应用程序进行并行性的开发，文件系统（HDFS）通过流式数据访问模式，可进行超大文件的存储[3]。本文基于Hadoop架构，提出一种并行的决策树挖掘算法来实现大数据集间的知识挖掘。 　　1 决策树挖掘算法SPRINT算法 　　SPRINT算法采用的属性选择度量为Gini指标，对于SPRINT而言，在数据集[D]中，条数据记录分为[D1，][D2，]分别对应包含的数据记录为[m1]条，[m2]条，Gini指标计算公式： 　　[GinisplitD=m1m2GiniD1+m1m2Gini