面向海量天文数据的分布式存储引擎地研究.pdfVIP

摘 要 随着天文观测设备和技术的进步，天文观测数据规模的迅速增长使得如何存 储海量观测数据以及如何能够迅速从中获取想要的信息成为难题。传统单节点的 文件系统和关系型数据库在处理海量天文数据方面的性能无法让人接受。因此， 设计一套针对海量天文数据处理的分布式存储引擎便显得十分的必要和重要。 天文数据可以分为星表数据和星图数据，这两种数据有不同的格式和应用场 景。本文针对天文星表和星图的特点，分别设计了两种分布式存储方案，进而加 快对这两种数据的存取。星图数据采用分布式文件系统来存取，本文基于星图数 据的特点首先提出了混合数据访问模型以减轻分布式文件系统中的网络开销，然 后在开源分布式文件系统 OrangeFS 上实现了该模型。星表数据则采用基于位图 索引的列式存储引擎 FastBit ，本文针对单节点版本的 FastBit 在处理海量天文数 据时会遇到的内存问题，设计并实现了 FastBit 的分布式数据存储引擎，提出了 FastBit 的分布式数据划分算法以及基于 SQL 分析的并行查询算法。 本文主要分为两部分，第一部分首先分析了分布式文件系统中客户端节点在 不同文件大小与不同数据规模下的吞吐率瓶颈，并根据天文星图的特征提出了混 合数据访问模型。从模型的意义和目的角度，对其进行了分析和介绍。接着描述 了模型的原理和流程，以及如何将该模型应用到实际的 OrangeFS 分布式文件系 统中。通过 benchmark 以及真实天文应用的测试，验证了采用该模型的分布式存 储对天文星图读写的加速效果。 第二部分首先分析传统关系型数据库在处理海量天文星表数据时所存在的 问题，并介绍了基于位图索引的列式存储引擎 FastBit 以及它在处理海量天文数 据时所存在的内存问题。然后提出了 FastBit 的分布式数据划分算法以及基于 SQL 分析的并行查询算法，描述了 FastBit 分布式存储的整体架构，最后通过天 文星表数据进行实验验证，并对实验结果进行了性能分析。 关键词： 海量天文数据，分布式存储，位图索引，OrangeFS ，FastBit ，数据 布局 ABSTRACT With the development of the astronomical observation, the astronomical data is increasing rapidly which makes the storage and search of the data become a big problem. The performance of the traditional single-node file systems and relational databases in handing massive astronomical data is unacceptable. Therefore it is crucial and necessary to develop a distributed storage engines for massive astronomical data. Astronomical data can be divided into star category and star image, both of which have different data formats and application scenarios. This paper designs two distributed storage solutions based on the features of the star category and star image, thereby accelerating the access of these two data. Distributed file system is used to access the star image. Based on the features of the star image, this paper first propose the hybrid data access model to reduce the distributed file system, and then implement this model on the open source distributed file sys