海量海洋地图数据的分布式体系研究.pdfVIP

中国“数字海洋”论坛论文集 国家海洋信息中心编 海量海洋地图数据的分布式体系研究 史世龙，周依文，魏芳 (北京邮电大学，北京100876) 摘要：针对目前架设海量海洋数据服务的主要方式优缺点，结合海洋数据的海量特点，提出需 要解决的关键问题，具体阐述了海量海洋地图数据服务系统的双分布式架构，介绍分布式服务系 统的性能测试方案，分析了性能测试结果．最后给出了结论． 关键宇：海量；集中式；分布式：双分布式体系架构 1引言 随着信息化程度的提高，许多行业如通讯、水利、测绘、金融、气象等，动辄需要处理上百 GB甚至TB级的超大规模数据，而且规模还在以指数形式飞快增长，这些就是海量数据。海量数 据的有效管理和快速访问是当今的一个热点问题。 目前海量数据服务主要有两种建设方案：一种是集中式，即采用单台高性能服务器对海量数 据进行统一管理，统一为用户提供服务，该方案结构简单，易于布署实施，但是单台服务器的服 务性能总有上限，而且系统成本是非线性增长的，不易于扩展。另一种是分布式，即采用多台普 通服务器布署来管理海量数据，分担多用户并发请求，该方案的最大优势是可以根据实际性能需 求对系统资源进行动态配置，通过负载均衡技术避免负载过重造成的系统瘫痪，而且成本相对较 低，适用性更强。 海洋地图数据也具有海量的特点。以我国的海洋环境信息为例，其数据量就高达300GB以上。 海量海洋地图数据的服务发布是数字海洋信息基础框架中的一个关键问题。我国的海洋地图数据 主要分布在国家海洋局各中心和研究所，地理上就是分布式存放的，这一点决定了分布式方案更 适合用来构建海量海洋地图数据的服务发布体系。另外海洋地图数据比较复杂，例如具有不同比 例尺、不同专题图层、时空关系紧密、动态性强等特点，这也为海洋地图数据服务发布带来了新 的问题。 2双分布式体系描述 针对海量海洋地图数据服务系统提出了一种双分布式体系结构：地图数据引擎和地图服务发 布都采用分布式架构。 一方面地图数据引擎采用分布式，可以分担地图数据提取任务，减轻磁盘IO压力，提高地 图数据的访问速度；另一方面地图服务发布也采用分布式，通过建立地图服务发布服务器之间的 管理调度机制，实现负载均衡，同时还使用了连接池技术和数据缓存技术。综合以上两方面考虑 可以缩短用户请求的响应时间。 基金项目l908专项海量地图数据库服务器技术(908-03_0卜12)课题资助。 ·-178— 中国“数字海洋”论坛论文集 国家海洋信息中心编 系统结构框图如图l所示 图I双分布式体系架构框图 整个体系可以分为三个功能模块：地图服务器端双分布式架构模块、Web服务器应用模块、 底层的Web开发模块。 1)地固服务器端双分布式架构 由一个地图服务发布管理器和多个地图服务发布服务器以及多个地图数据引擎组成。 地图服务发布管理器管理多个地图服务发布服务器，在多用户请求并发时负责地图服务发布 服务器之间的动态负载均衡，同时它也管理多个地图数据引擎，能够对其进行动态的添加删除。 此外对地图服务具有管理的权限。地图服务发布管理器在全局中起到管理者和调度者的作用。 地固服务发布管理器，当用户请求到达时，地图服务发布服务器收到管理服务器的委派后， 对请求进行处理和运算，是任务的真正执行者。由于使用了连接池技术，多用户请求并发时，系 统中的地图服务发布服务器将共同处理任务，提高了效率。 地图数据引擎的作用是根据用户请求进行相关地图数据的查找和提取。由于使用了数据缓存 技术，在地图服务器端事先准备好不同分辨率的影像数据，客户端就可以在这些不同分辨率的数 据中按需所取，缩短了用户响应时间。 地图服务器端双分布式架构是整个体系的重点，完成地图服务发布、浏览的工作，处理用户 请求。 2)Web服务器应用 部署Web应用和服务，这些应用和服务使用的是地图服务器端的资源。它是用户与地图服务 器端之间的桥梁，当用户在Browser发出请求，Web服务器把请求通过底层的Web开发模块连接 到地图服务发布管理器，地