地面系统建设项目实施方案.docxVIP

地面项目

实施方案

其他子系统数据管理子系统门户Postgresql数据库访问层服务层

数据存储子系统底层存储

图4-1数据存储管理子系统系统架构

数据存储管理分系统设计原则

数据存储管理分系统遵循软件系统设计基本原则，同时兼顾实际业务需求,具体设计原则如下：

1）规范性：系统中采用的控制协议、编解码协议、接口协议、媒体文件格式、传输协议等符合国家标准、行业标准和公安部颁布的技术规范。系统具有良好的兼容性和互联互通性。

2）安全性：分系统提供一套完整的安全认证机制；3）可扩展性：数据存储集群主机数最大可扩展到1200；分系统提供标准rcstfullAPI接口供第三方调用；4）高可靠性：数据存储子系统使用LVS技术实现物理服务器间及磁盘间负载均衡，数据打散存放，分布式读写，有效避免单点故障。使用按位存储和校验机制，有效保障数据传输正确性；5）高并发：数据存储采用分布式集群技术，将文件诳行分块、冗余存储，

支持数据高并发访问；数据存储管理分系统关键技术

数据存储管理分系统的关键技术主要分为数据存储与管理两大模块的技术难点，具体如下：

1）支持多种格式数据、多种级别产品数据统一存储；

2）支持多条件（分辨率、时间、云量、区域、shp文件等）检索；

3）数据存储的底层多采用分布式存储，并能实现并行计算。针对底层的分布式存储以及并行计算的需求，采用开源项目hadoopo对于遥感行业，由于同时存在着海量大文件的影像数据和海量小文件的瓦片数据。如果单纯使用hadoop的hdfs来进行存储，对于海量小文件的瓦片数据而言，会造成namenode的元数据表迅速膨胀，并旦查询效率低下。为此，需要引入了hbase系统来存储海量的小文件，hdfs则只用来存储海量的大文件。Hbase能把许多的小文件拼凑成一个大文件放在hdfs上，大大提升小文件的查询和存储效率。对于同时使用hbase和hdfs的存储系统，需要实现对用户而言透明的统一存储，用户不用关心数据存在hbase还是hdfs,用户体验都是一样的。为实现此目标，可以将用户的查询接口统一在hbase,至于真实的数据在哪，由hbase表设计的相应字段来决定。由于hbase是一种nosql数据库，而最好展现给用户的是文件系统访问方式。这就需要设计hbase数据库，添加元数据表，记录文件（或文件夹）的元数据信息，添加资源表以存储小文件内容，大文件则直接存在hdfso

4）提供web服务，设计RESTFULAPI通过查询hbase的元数据表的元数据信息，提供文件系统访问方式的目录文件的展现，对于小文件，直接读取或写入hbase的资源表，对于大文件，直接读取或写入hdfs。使用提供的RESTFULAPI即可方便的开发各种用户端访问数据云的web服务，统一、快速的访问数据存储系统。

数据存储管理分系统结构

数据存储管理分系统分为数据存储子系统和数据管理子系统，其系统架构关系如下：

图4-2数据存储管理分系统系统架构关系

如上图，数据存储管理子系统分为数据管理子系统和数据存储子系统。其中数据管理子系统管理数据的空间地理信息、时间、分辨率、云量、文件存储路径、区域等元数据信息，为用户提供数据检索、数据管理、数据入库等功能。数据存储子系统提供海量文件存储、数据访问、权限控制、登录注册等功能。

数据存储管理分系统接口关系数据存储分系统硬件接口关系

数据存储分系统为纯软件开发,没有涉及到硬件开发，所以无硬件接口关系。

数据存储管理分系统软件接口关系数据存储管理分系统的软件接口关系如下图所示:

图4-3数据存储管理分系统软件接口关系

数据存储子系统提供标准restfullAPI接口供数据管理子系统调用，以实现数据访问存储操作；数据管理子系统通过JDBC查询数据库中数据，将结果数据进行封装并返回给客户端。

数据存储管理分系统工作流程

数据存储管理分系统的工作流程主要为数据入库、检索与管理操作，具体如下：

图4-4分系统工作流程

用户登录数据管理子系统后，可以通过数据管理子系统的入库模块，将数据元数据信息入库到数据管理子系统，同时数据管理子系统将实际数据存储到数据存储子系统；用户也可以通过数据检索模块，填选检索条件进行数据检索，数据管理子系统将检索条件作为过滤条件，从数据库中检索符合条件的数据记录，同时根据需要，从数据存储子系统中读取缩略图文件，最后一并返回给前段进行展示；最后用户可以通过数据管理模块对遥感影像数据进行上下架、删除等管理操作，但用户进行上下架操作时，只会修改数据管理子系统中元数据信息，只有进行删除操作时，才会相应删除数据存储子系统中对应文件。

数据存储管理分系统软硬件环境

★操作系统：centos6.3或以上；

tomcat：