面向海量天文数据分布式存储引擎的研究.pdf

摘 要 随着天文观测设备和技术的进步，天文观测数据规模的迅速增长使得如何存 储海量观测数据以及如何能够迅速从中获取想要的信息成为难题。传统单节点的 文件系统和关系型数据库在处理海量天文数据方面的性能无法让人接受。因此， 设计一套针对海量天文数据处理的分布式存储引擎便显得十分的必要和重要。 天文数据可以分为星表数据和星图数据，这两种数据有不同的格式和应用场 景。本文针对天文星表和星图的特点，分别设计了两种分布式存储方案，进而加 快对这两种数据的存取。星图数据采用分布式文件系统来存取，本文基于星图数 据的特点首先提出了混合数据访问模型以减轻分布式文件系统中的网络开销，然 后在开源分布式文件系统 OrangeFS 上实现了该模型。星表数据则采用基于位图 索引的列式存储引擎 FastBit ，本文针对单节点版本的 FastBit 在处理海量天文数 据时会遇到的内存问题，设计并实现了 FastBit 的分布式数据存储引擎，提出了 FastBit 的分布式数据划分算法以及基于 SQL 分析的并行查询算法。 本文主要分为两部分，第一部分首先分析了分布式文件系统中客户端节点在 不同文件大小与不同数据规模下的吞吐率瓶颈，并根据天文星图的特征提出了混 合数据访问模型。从模型的意