科学数据管理系统的研究-计算机系统结构专业毕业论文.docxVIP

独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得 天津大学 或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名： 签字日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解 天津大学 有关保留、使用学位论文的规定。 特授权 天津大学 可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 （保密的学位论文在解密后适用本授权说明） 学位论文作者签名： 导师签名： 签字日期： 年 月 日 签字日期： 年 月 日 摘 要 随着科学研究的发展，在各个研究领域都产生了数以拍(Petabyte)计的海量 数据，比如基于地理位置坐标的空气质量信息，类似的这些数据都有自身的组织 特点——多维数组模型结构。 尽管在商业领域关系数据库系统和 Key-Value 数据库系统都有了广泛的应 用，并且取得了巨大的成功，但到目前为止，由于科学研究领域数据的结构不同 与传统的数据，使得此类商业数据库系统在科研领域的应用面临着很多难以克服 的问题。关系数据库系统和 Key-Value 数据库在存储和处理多维数组模型数据时 改变了数据的天然数组模型结构，使得后续的数据管理的过程变得过于复杂，从 到导致数据很多却找不到有用信息的困境的产生。商业数据库系统已经不能满足 科学数据处理的需求，需要研究和开发针对科学数据管理的系统。 论文着手研究分析科学数据管理的需求，结合科学数据的多维数组模型结构 特点，针对目前科学领域的相关的应用，设计并实现了一个命名为 SDBM 的科 学数据管理原型系统。在系统架构方面，SDBM 采用了无共享分布式架构，通过 可靠的消息和任务机制保障系统的稳定性；在存储管理方面，SDBM 设计了一次 性写入型的只读多维数组模型，通过一种高效的版本控制方法，保证数组数据的 动态更新和高效压缩存储以及通过数组分块实现数据的分布式存储；在数据查询 方面，SDBM 实现了简单的函数式编程语言 AFL，并提供了用户查询接口和编 程接口。最后以 SDBM 原型系统为支撑，开发了天文望远镜系统和 FITS 文件管 理系统，得以验证 SDBM 系统的可行性。 关键词：科学数据，管理，数组模型，数据库，天文学 ABSTRACT With the development of scientific research, huge amounts of scientific data has been generated in various research fields, such as air quality information based on geographical coordinates. Most of this data is organized in a multi-dimensional array model structure. Relational database system and Key-Value database system have been widely used in the commerce, with having achieved great success. But so far, because the structure of scientific data is different from the tranditional data, the application of these commercial database systems in scientific research fields is confronted with many problems difficult to overcome. Commercial relational database system and Key-Value database system will change the natural array structure of the data during storage or processing, and it will make follow-up data management and analysis become too complex to complete. Traditional commercial databas