天文大数据管理工具的设计与实现.pdfVIP

DOI ：10.14005/ki.issn1672-7673005 网络出版时间：2015-05-19 14:57 网络出版地址：/kcms/detail/53.1189.P1457.005.html 天文大数据管理工具的设计与实现 1,2 1 2 2+ 2 钟守波 韩波 张彦霞 赵永恒 何勃亮 1 武汉大学国际软件学院，武汉，430079 2 中科院光学天文重点实验室（国家天文台），北京，100012 摘 要：随着大型地面和空间观测设备的建设以及大型巡天项目的开展，天文数 据以TB 字节、PB 字节，甚至EB 字节计量，天文学进入了“大数据”时代。面对 数据海洋，如何有效地存储和管理这些大数据是摆天文学家面前的核心问题。 数据存储和管理不仅仅是天文数据中心的任务，天文学家也需要有效地管理自 己的科研数据。能够将海量的数据自动地存入数据库中是管理数据的基本前提， 而高效的数据索引则是管理数据的核心要素，为此我们设计开发了天文大数据 管理工具 AutoDB ，使用虚拟终端监视实现海量数据的自动入库，对数据自动 创建全新的天空分区索引Q3C(Quad Tree Cube) ，对天文数据进行二维的空间索 引来进行高效的管理。天文大数据管理工具的改进和完善对天文学家后续研究 中的数据融合、数据分析、数据挖掘提供了根本的保障。尤其对那些从事大数 据的天文学家，他们拥有自动化的数据库管理工具，可以如虎添翼地集中精力 致力于科学研究。 关键词：大数据，数据库，数据管理，数据文件 1 引言 目前，天文技术的发展越来越快，高科技的天文设备、仪器和方法的使用， 使得天文数据的观测已经进入“大数据”时代，每天每夜都在产出海量的天文数 据。在今后的数年内天文数据将积累到 PB 量级，数据量的增加给天文学者的 研究带来了新的希望，同时也带来了新的挑战，量变引起质变，数据量从 GB 跃升到 PB 后，就需要更加高效的方法来存储、管理、分析和挖掘这些数据。 在面对海量科学数据时代天文学研究的过程中，天文学家需要不断地扩展自己 的视野和增加自己的知识，来对数据进行更加高效的组织、访问、整合与挖掘 工作 ，其中最基本的工作就是数据的高效存储管理。所以如何高效快速地存储 管理这些海量的天文数据，让天文学家能够快速地存储数据资源并分析数据， 减少天文学家在一些技术上的使用障碍，愈发变的严重起来。在天文学界中， 天文工作者不断地开发各种数据管理工具，最为流行的便是 SAADA[1]数据生成 工具，支持转换 FITS 文件或者其他的存储格式 （图片、表格、光谱）来创建 SAADADB 数据库，同时可以将数据部署在 web 服务器上面，数据库本身存在 于本地的机器上，且天文学家不用编写任何的代码。其中 SAADADB 数据库由 SAADA 产生，是基于关系数据库（MySQL[2] 、PostgreSQL[3] 、SQLite[4] ）上由 java 语言设计生成的，同时需要 web 应用服务器，如 Apache[5] 、Tomcat[6] ，其 数据管理操作非常简单。尽管 SAADA 的功能非常强大，但是对于致力于天文 研究的天文学家学习和使用起 SAADA 来比较困难，例如各种类型数据库的部 署、java [7]和web 服务器的部署等，往往让天文学家望而却步。就数据库的自动 入库功能而言，我们只需要将数据导入到底层数据库中，并且可以直接从底层 数据库中调用数据，而 SAADA 会产生自己专有的 SAADADB