基于OpenStack的海量影像入库方案.pptx

基于OpenStack的海量影像入库方案 目标 本测试是基于OpenStack环境和消息队列，将海量影像数据导入到集中关系型数据库，实现导入方式的并行性处理和自动化处理，体现云环境为GIS应用带来的价值。 数据概述 数据情况 全球影像数据 数据格式 TIF 数据量 2.67TB 数据分为南北半球，各占1-60分带， 大小在200MB~7GB不等 数据概述 其他说明 该数据为分带数据 N-02-00.tif N-02-15.tif N-02-20.tif N-03-15.tif N-03-00.tif N-03-45.tif WGS_1984_UTM_zone_2N WGS_1984_UTM_zone_3N 环境 OpenStack：icehouse GIScript：2005 Python3 RabbitMQ：3.2.4 Pika for Python Ubuntu：15.04 SuperMap：iDesktop 7.1.2 Oracle：11.2.0.4 原理 通过消息队列，将所有影像数据按照带号进行逻辑划分，带号可以从tif影像的文件名称获得，然后将每个带号下的tif影像的路径写到一个job文本文件中，通过消息服务发出这些工作请求，python服务器接收相关的job文件，然后读取job里面的tif文件，进行创建影像数据集和影像导入追加镶嵌，创建金字塔工作。 02