全球剖分编码海量瓦片文件的顺序存储和预取技术.pdfVIP

全球剖分编码海量瓦片文件的顺序存储与预取技术 王垒1 何连跃1 罗军1 李姗姗1 刘磊2 ， ， ， ， ， 1 （国防科学技术大学计算机学院，湖南省长沙市，410073） 2 （国家信息保障重点实验室，北京，100072） Massive Global Subdivision Coding Sequence of Title File of Storage and Prefetching 1 1 1 1 2 Wang Lei ,He Lian-Yue ,Luo Jun ,Li Shan-Shan ,Liu Lei 1(Computer secience department ,National University of Defence Technology ,Changsha,410073 ） 2 （Science and Technology on Information Assurance Laboratory,Beijing,100072） + Corresponding author: Phn: +86 E-mail: 2206968036@ Abstract: This paper proposes an orderly storage and prefetching techniques for massive tile files of geospatial data file system. The orderly storage is based on the aggregate storage technology, massive tile files are aggregated by the unit of directory, and each aggregation file can be consists of tens of thousands tile files or even more. By the orderly storage, the 2-dimensional tile files of each aggregation file are stored linearly. So the neighboring images are substantially adjacent, in order to achieve once I/O to access a plurality of successive tiles file prefetching. Our comparative experiments show that an orderly pyramid prefetching technique can effectively improve read performance. Keywords: Geospatial data file system; HDFS; Global coding; Massive tile files; Orderly storage; Prefetching. 摘 要：本文提出了地理空间数据文件系统海量瓦片文件有序存储与预取技术。有序存储基于聚合存储技术， 海量瓦片文件以目录为单位聚合，每个聚合文件可以由数万甚至更多的瓦片文件组成。有序存储将一个聚 合文件内部的二维瓦片文件按照线性方式存储，使空间相邻的图片存储也大致相邻，以实现一次 I/O 获得 多个连续瓦片文件的预取功能。对比实验证明有序金字塔预取技术能够有效提高系统读取性能。 关键词： 地理空间数据文件系统 HDFS 全球编码 海量瓦片文件 有序存储 预取 1 引言 网络地理信息服务具有海量数据量、文件数多、大量用户并发访问等特点，通用文件系统和HDFS 为 代表的分布式文件系统无法满足海量地理空间数据的存储与访问要求。瓦片文件是地理信息系统的一种典 型数据，特点是单个文件规模较小，但是文件数量巨大，以 19 层金字塔为例，文件数超过900 亿个文件。 为了满足千亿规模海量小文件的存储和访问需求，项目组基于HDFS 实现了海量小文件支持分布文件系统 SMDFS 。 SMDFS 基于聚合存储技术和分布索引技术实现海量文件数存储。海量小文件支持最大的困