大数据技术下海洋测绘数据的存储与挖掘.docx

??

?

??

大数据技术下海洋测绘数据的存储与挖掘

?

??

?

?

?

?

?

?

?

???

?

?

?

?

?

摘要：在计算机信息技术快速发展的背景下，社会已经进入了信息化时代，大量的数据产生于社会中的各个领域，同时大数据技术在数据信息的处理上也得到了普遍的应用。在对海洋资源进行开发的过程中，对海洋环境的变化进行有效的测绘，就需要实现采集、存储和处理相应的海洋测绘数据，这时对于海量海洋测绘数据的处理和应用也成为了越来越多学者关注的问题。在开发海洋资源过程中，要及时测绘海洋环境的变化就需要有效的实现对海洋测绘数据的采集、存储和处理。我国目前正在建立一个立体化的海洋测绘系统，势必会使海洋测绘数据呈现从GB、TB到PB级别的增长。大数据技术的关键是并行存储、分布式计算，它们可以有效解决海量海洋测绘数据存在的复杂、异构以及海量的问题。

关键词：大数据技术；海洋测绘；数据分析与存储

近年来，海洋测绘新兴技术的迅猛发展，给海陆测绘领域带来了极大变化，海洋测绘全面推进制度化、规范化、程序化建设，不断提高航海保障能力和服务水平，满足用户需求。数据获取比以往更加方便快捷，数据管理由传统的单机体系转向网络体系，在数据输出、应用等方面，实现了从纸质图输出到多种海图产品并存的新模式。海洋测绘逐渐从单一的测量和地图绘制工作向测绘数据高效生产、管理、维护与应用服务等方向发展，航海图书产品类型逐年丰富，港口航道图发行量显著增加，满足了国家全面深化改革和海洋强国战略实施的需要。海洋测绘的数字化、自动化和规范化，极大地丰富了海洋测绘数据，提升了海图发行量，为保障国家海洋权益和航海安全，提供了极大的便利。但是随着海洋测绘的技术逐渐发展，历史积累的各种海测数据、海图资料、技术文献日益繁多，海洋测绘数据的管理任务日益繁重。因此，建立一个测绘资料数据库管理系统，高效地管理海事测绘数据，提高测绘数据的使用效率，成为当前海洋测绘工作中的重要部分。

一、大数据技术

目前应用广泛的大数据技术主要包括Hadoop、Hbase、Hive等。作为一个分布式计算平台，Hadoop包括HDFS文件系统和MapReduce计算框架两部分；HDFS是一个并行的文件系统，提供高扩展性、高容错性，保证用于能够将大量低廉机器组织为一个分布式系统，以存放并管理海量数据。作为一个分布式文件系统，HDFS非常容易扩展，在存储海量海洋测绘数据时不需要将数据存放在一个集中的服务器上，而可以分散存储于不同的节点。HDFS的目的就是存放海量数据，所以比较适合处理TB甚至PB级别的数据。MapReduce也是Hadoop的核心组件，是一种并行计算模型，可以利用大量计算机的运算处理能力解决复杂的技术问题。HBase是一个分布式NoSQL数据库，和传统的关系型数据库不同，HBase产生之初的目的是处理数据量很大的表，处理能力高达10亿行；HBase存储海量数据时通常结合HDFS文件系统。HBase中的数据表现为稀疏的、多维度的映射表，其中行关键字、列关键字以及时间戳充当了行索引，所有数据都是字符串类型。Hive是基于HDFS文件系统的数据仓库框架，其组成部分和功能包括：ETL工具、数据存储管理、大型数据集的查询等；查询是通过类似SQL的HiveQL实现的。Hive提供了命令行（CLI）及图形界面（WebGUI）两种用户接口，也通过Thriftserver提供了API接口。

二、海洋测绘数据

海洋测绘数据种类繁多，不仅包括温度、盐度、深度等水文信息，也包含地址信息、生物信息以及遥感信息等，这些不同类型的数据有不同的特点，在对它们进行存储和处理时需要考虑到它们的处理需求和存储格式。在分析了海量的海洋测绘数据后可以发现，海洋测绘数据的特点如下：

1、海量。在进行海洋测绘时会有大量的监测点，它们收集到的数据结构复杂，而且是动态变化的，这就决定了势必会产生大量的测绘数据，仅仅使用本地存储难以满足海量数据的存储需求。

2、数据格式及结构存在差异。不同的测绘数据的记录格式是不同的，存储结构也随之不同，造成测绘数据在存储时并没有一个统一的数据结构标准。已经收集到的海量海洋测绘数据包含了海洋、地址、水文等多方面工作人员的辛劳汗水，所以在收集到的数据的积累、存储等方面需要慎重考虑，需要结合海洋测绘数据的特点提高存储、处理的高效性和安全性；另外，还需要考虑海洋测绘数据的稳定性。海洋测绘数据的种类很多，比如海底地形数据、海岸带航空遥感数据、海岸线测量数据等，不同种类的数据格式也存在很大的差异，这就需要对这些有差异的数据进行数据加工处理，形成标准统一的矢量数字海图、航空摄