大数据的环境下GIS技术发展的研究.docVIP

大数据的环境下GIS技术发展的研究 　　摘 要：大数据环境下GIS处在数据体量大、数据急剧膨胀、数据源多样、数据不精确、数据价值密度低的环境。描述大数据环境下GIS数据显著特征；探讨大数据环境下GIS技术在数据采集、存储、分析处理等三个方面存在的挑战；展望面对这些挑战GIS技术应存储去结构化、计算内存化、分析去模型化、地图全息化发展趋势。 　　关键词：大数据；GIS；Hadoop；Spark；去模型化 　　引言 　　随着移动互联网、智慧城市、物联网、云计算等前沿科学技术的快速发展，数据采集方式也不断扩展，越来越多的物体成为传感器，诸如手机、手环、手表、眼镜等越来越多的日常用品成为数据的生产工具。在此背景下，数据量呈爆发式增长。2013年中国产生的数据总量超过0.8ZB（相当于8亿TB），是2012年所产生的数据总量的2倍，相当于2009年全球的数据总量[1]。2014年中国所产生的数据则相当于2012年产生数据总量的10倍，即超过8ZB，而全球产生的数据总量将超40ZB。数据量的爆发式增长督促我们快速迈入大数据时代。 　　1 GIS空间数据的大数据特征 　　具体什么是大数据不同的组织给出的定义也不尽相同，普遍来说大数据指的是无法通过现有的软件工具采集、存储和分析处理的数据集合。业界通常用5V（Volume、Variety、Velocity、Veracity、Value）特征[2]来概括大数据的显著特征。爆发式增长的数据中80%与空间位置有关，这些GIS空间数据的大数据特征同样可以用5V来概括。 　　Volume（数据量）：即数据体量大，大量TB级以上数据需要采集、存储、分析处理，如一个地级市的基础地理信息数据。 　　Velocity（速度）：即数据产生的速率很快，目前数据正以ms甚至微秒计的流数据源源不断地快速产生，因此对数据处理的实时性要求也越来越更高。 　　Variety（多样性）：即数据具有多样性，它包含各种结构化和非结构化数据，比如属性数据、矢量数据、遥感影像等栅格数据。 　　Veracity（真实）：即数据具有不精确性，因为数据存在噪音、歧义甚至是缺失，从而导致数据信息模糊，给数据的处理带来诸多不利影响。 　　Value（价值）：即价值密度低，大数据中蕴含各种信息，但其中有价值的数据占比较低，从中挖掘出有价值的数据是一种挑战。 　　2 大数据环境下GIS面临的挑战 　　自Roger Tomlinson博士于1963年首次提出地理信息系统（Geographic Information Systems）概念之后，GIS技术一直都在快速发展。GIS技术现已广泛应用于环境监测、国土资源管理、城市规划、交通运输、公共基础设施管理、社交网络（SNS）、位置服务（LBS）等领域，给人们生活带来很大便利。随着广大从业者对GIS技术进行不断的尝试和实践，发现大数据环境下GIS所面临的数据通常是大体量的、快速增长的、异构的、非结构化的数据，这些数据采集不便、存储困难、分析处理复杂，给传统GIS技术带来挑战。 　　2.1 大数据环境下GIS数据的采集 　　大数据环境下GIS数据采集方式不再局限于全站仪、水准仪、扫描仪、卫星遥感影像等传统设备与方式，而是来源于各种传感器、街景图片、网页贴吧、视频监测数据、历史数据、社会动态等复杂多样的数据源，凸现大数据的多样性特征，这给GIS数据的采集增加了难度。另外各种传感器等监测数据多为流数据，数据以毫秒甚至以微秒计源源不断快速产生。所谓流数据是指一组顺序、大量、快速、连续到达的数据序列，一般情况下，数据流可被视为一个随时间延续而无限增长的动态数据集合，如车辆的行驶轨迹等阶段内无限增加的动态监测数据。此外大数据环境下95%以上的数据都是存在噪音和歧义甚至缺失的不精确数据，在这种数据体量巨大的大数据环境下如何建立数据质量评价体系，从而采集到真实可靠的数据成为一大难题。 　　2.2 大数据环境下GIS数据的存贮 　　数据的存储是数据分析和数据挖掘的基础与前提。现有成熟的GIS数据存储系统多依赖关系型数据库，如Oracle、PostGIS；但是关系型数据库由于在海量数据管理、高并发读写以及扩展性等方面的限制，在大数据时代已经显示出一定的局限性[3]。 　　大数据环境下数据量体非常巨大，2GB大小的遥感影像已经是非常小的分析单元。另外GIS数据源呈现更大的多样性，既有属性信息等可以用结构化方式存储的数据，又有街景、视频等非结构化数据。传统的GIS空间数据存储方式不但难以扩展，而且随着数据的激增读写性能存在极大瓶颈。 　　在传统的分布式空间数据库环境下数据虽然可以存放在不同节点上，但这种相对传统的分布式文件系统所支持的扩展性有限，针对GIS大体量、多样性的空间数据存储问题仍