基于非关系型数据库系统的近地天体望远镜图像数据库的设计与实现.pdfVIP

第54卷 第4期 天 文 学 报 Vo1．54 NO．4 2013年 7月 ACTA ASTRONOM ICA SINICA Ju1．2013 基于非关系型数据库系统的近地天体 望远镜图像数据库的设计与实现冰 王 歆 ，2十 (1中国科学院紫金山天文台南京 210008) (2中国科学院空间目标与碎片观测重点实验室南京210008) 摘要 近地天体望远镜是我国最大的施密特望远镜，2006年投入运行以来，采集了超 过 3TB的天文图像数据；2013年 CCD相机升级后，图像数据将以每年超过 10TB的 速度增长．对海量图像进行管理是其数据处理系统不可缺少的部分也是数据共享的基础． 在需求分析基础上，设计并实现了基于非关系数据库的图像数据库系统． 关键词 天文数据库，巡天 中图分类号：P114 文献标识码：A 1 需求分析 近地天体望远镜位于中国科学院紫金山天文台盱眙观测站，是我国最大的施密特望 远镜，主要从事近地天体巡天观测，同时也开展其它类型观测，服务于天体力学、天体测 量和天体物理等多个方向．近地天体望远镜配备了4kx4k的CCD相机，2006年投入运 行以来积累了超过 3TB的图像数据．2013年升级到 lOkx10k的CCD相机后，全年采 集图像数据将超过 i0TB，理想情况下将接近 20TB． 采用数据库管理已是当前大型天文设备数据管理的主要方式，因此首要需求就是实 现对海量图像数据的存储管理．天文图像数据不仅容量大而且随时间呈线性增长，面对 每年近 20TB的数据增量，单纯通过升级存储系统实现扩容不仅成本很高，并且很容易 达到设备的物理极限，无法继续扩容．因此存储系统与存储方式必须具有良好的可扩展 性，随着数据容量的增加可以持续扩充容量，并且原有数据无需进行迁徙． 由于图像数量多、容量大，面对海量数据，科研用户不可能获取全部数据，只有通 过检索系统选择所需的图像．近地天体望远镜采用天文设备最广泛使用的FITS格式文 件存储图像，FITS格式文件中包含头数据单元 (HDU，headerdataunit)，在HDU 中采 用键值对 (Key—Value)形式保存了图像相关的各种属性信息，这些信息是利用图像开展 后续工作必要的参数，也是图像检索的主要依据．如何实现对FITS图像文件中键值对 数据的管理与查询，是数据库是否灵活好用的关键． 2012—09—12收到原稿，2012—10—19收到修改稿 国家 自然科学基金项 目资助 十wangxin@pmo． ac．cn 4期 王 歆：基于非关系型数据库系统的近地天体望远镜图像数据库的设计与实现 383 利用近地天体望远镜开展多科学 目标的观测，不同的观测需求使得图像采集方式与 属性数据均不同．例如对于巡天观测时通常望远镜采用恒动方式，FITS格式文件中一般 仅记录观测天区的坐标；而观测移动 目标时，望远镜按照 目标的视运动轨迹运行，FITS 格式文件中需要记录观测 目标的代号、曝光时望远镜的运动速度等；观测地球同步卫星 时，望远镜为静止状态，此时FITS格式文件中也需有明确标识．这些信息都是图像后续 处理与使用的必要信息．随着望远镜的不断升级，采集终端的扩展，所需要记录的图像 属性也不断增加，例如在 2008年近地天体望远镜新增了滤光片系统，在FITS格式文件 中新增相应的键用于标识所采用的滤镜．近地天体望远镜团队除了公布原始图像外，随 着数据处理系统的不断发展，也逐步发布经过预处理的图像，在 FITS格式文件中对预处 理进行标识．上述这些情况都使得需要管理的图像属性在不断变化．因此对于图像属性 数据的管理必须具备较好的伸缩性． 天文数据库容量都很大，但通常用户数量并不多，对数据库的并发访问要求不高。 此外近地天体望远镜为光学设备，只在夜间获取图像，对数据库的并发读写也无特别的 要求，现有主流数据库管理系统都能够满足． 面对上述需求，本文设计并实现了一个图像数据库系统． 2构架设计 2．1现有构架回顾