基于Hadoop的面元加权Voronoi图并行算法.docx

摘 要随着计算机技术和互联网技术的飞速发展和迅速普及，数据信息逐渐呈现出爆炸式的增长趋势，而空间数据因其本身高度复杂的特征，集聚规模更加膨胀，相应地也加大了海量空间数据挖掘的难度，因此迫切需要新的技术和方法从繁杂的海量空间数据中发现和挖掘有用知识和价值信息，提取出其中所蕴含的关系和规则，提供决策支持帮助。云计算技术的兴起则为上述问题的解决提供了一种新的突破方向。Hadoop，作为 Apache 公司下的开源云计算平台，是一个可进行大规模海量数据处理的分布式计算框架。Hadoop云平台以分布式文件系统HDFS来存储海量数据信息，使用MapReduce编程模型来并行化处理数据。本文在总结分析当前空间数据挖掘技术的基础上，以计算几何方法和空间聚类方法为突破口，重点对面元加权Voronoi图和K-均值空间聚类算法进行了探讨，并取得了一些研究成果。本文的工作成果总结如下：1) 对空间数据挖掘的主要技术进行了阐述，并研究了MapReduce分布式编程模型，分别从Voronoi图算法和传统的K-均值算法两方面展开研究，为并行空间数据挖掘提供具体的理论指导。2)分析了空间数据挖掘技术方法之一——计算几何中的Voronoi图方法。针对大规模数据情况下面元加权Voronoi图存在的计算效率不高问题，结合多边形边界提取思想，提出了面元加权Voronoi图的改进方法，并在Hadoop平台上实现了该算法的MapReduce并行化。3)着重研究了位置和属性一体化的K-均值聚类思想，并在Hadoop上设计实现了该算法。并针对新浪微博用户数据进行了用户聚类分析。4) 组建了Master/Slave模式的Hadoop集群，采用了不同规模的数据集，对算法在集群上的性能分析进行了实验验证。关键词：面元加权Voronoi图，K-Means空间聚类，Hadoop，MapReduce，空间数据挖掘AbstractAlong with the development of computer technology and the popular of Internet, data Information has gradually shown an explosive growth trend, but the gather scale of spatial data are more expansive because of its highly complex characteristics. Accordingly, it also increases the difficulty of massive spatial data mining. There is an urgent need for new techniques and methods to found and mining useful knowledge from massive spatial data, extract the relationships and rules to provide decision support. The rise of cloud computing provide a new breakthrough in the direction to solve the problem.Hadoop, as the open-source cloud computing platform of Apache, is a distributed computing framework for processing of large-scale massive data. Hadoop platform stores massive data in HDFS, using the MapReduce programming model for parallel processing of data. This paper summarized and analysis spatial data mining technology, and used computational geometry algorithms and spatial clustering method as a breakthrough, mainly studied Weighted Voronoi diagram for Polygons and K-means space clustering algorithm.The results of our paper are summarized as follows:1)The main method of spatial data minin