基于Spark的空间数据聚类分析研究.docxVIP

基于Spark的空间数据聚类分析研究

摘要

随着互联网的快速发展，人们的出行数据在网络上呈现指数式增长。在利用这些信息进行数据处理的应用场景下，人们面临着海量空间地理信息数据获取、存储管理、分析挖掘等挑战。这些数据因其数量巨大、并且呈现不规律性和异质性等特点，使得空间数据查询、空间数据挖掘愈发难以处理。

传统的地理信息系统在海量空间地理信息处理应用场景下往往表现不佳，本文以分布式计算框架Spark为基础，对2013年1月份纽约市出租车出行数据进行空间地理信息坐标获取，对海量空间坐标点进行聚类分析，挖掘出行地点集中区域，本文所做的工作和结论如下：

对Hadoop框架进行分析，包括MapRedu