LAMOST数据流与光谱质量控制研究-ChinaXiv.PDFVIP

* LAMOST数据流与光谱质量控制研究 1,2 1 郭炎鑫 ，罗阿理 (1. 中国科学院光学天文重点实验室（国家天文台），北京 100101；2. 中国科学院大学，北京 100049) 摘 要：郭守敬望远镜(LAMOST)每日产生海量观测数据，数据处理涉及观测计划生成、二 维和一维数据分析、参数测量、质量控制和光谱释放等诸多环节。为了更高效地获取、处理、分 析数据和发布数据以及及时解决数据处理过程中出现的问题,开展了LAMOST数据流与光谱质量 控制研究。首先，深入研究LAMOST 系统数据流和工作流程，结合关系型数据库进行数据建模， 实现基于Linux的MySQL数据库系统，将数据处理和发布各个环节有机串联并融合在一起；然后， 基于该数据库系统，定义光谱质量控制模型，建立光谱质量控制系统，严格控制光谱质量和光谱 产出各个环节，从而为优质的光谱资源的释放提供保障。该数据流与光谱质量控制系统可以很好 的满足LAMOST数据处理和数据管理的需要，是可以扩展至同类望远镜系统进行数据处理的一 种有效方案。 1 v 关键词：天文数据处理； 数据库； 数据流； 质量控制 2 中图分类号：TN216 文献标识码：A 文章编号：1007-2276-(2004)4-0338-05 0 0 0 0 [1] 郭守敬望远镜（LAMOST ，大天区面积多目标光纤光谱天文望远镜） 是一架新类型的大视 . 1 场兼备大口径望远镜。2017年6月，LAMOST 圆满完成了为期五年的第一期光谱巡天任务，共获 0 9 取了约900万条光谱数据，其中高质量光谱数（信噪比大于10）超过700万及超过500万组恒星参 1 数，远远超过了全世界光谱巡天项目获取的光谱数总和，为天文学家研究银河系及一般星系的形 0 成与演化提供了重要的基础性数据。 2 LAMOST每夜上万天体的观测和数G字节的FITS[2]构成了一个海量数据集合。为了高效地利 : v i 用LAMOST 的观测能力，LAMOST 已经建成了一套完整的自动化观测、数据处理和存储的软件 X [3] 系统 ，其中主要包括巡天战略系统(SSS)、观测控制系统(OCS)、二维光谱数据处理(2D)、一维 a n 光谱数据处理系统(1D) 。 如何有效地维护和管理巡天过程中产生的海量观测和光谱数据，并将 i 这些数据和以上软件系统有机地融合起来是光谱数据处理系统要解决的首要问题之一。 h c 借助于数据库系统来对数据处理数据流进行整合和管理是一种行之有效的解决方案。国内外 越来越多的望远镜巡天项目带来越来越多的海量数据存储和处理的客观要求，对数据库技术要求 也越来越高。虽然国外已经建立了成熟的数据服务网站，比如 ADS 、SDSS 等，虽然它们都能 够提供某个方面的服务，比如数据交叉服务，数据可视化服务，数据下载服务等，但是它们都是 在数据处理和发布之后的服务，专门针对天文数据处理整个过程中数据流的数据库系统还没有先 例。这需要我们在充分了解数据处理流程及其过程中所涉及到的数据流情况的基础上，探索建立 适合LAMOST 数据流的数据库系统，同时能够融合光谱质量控制机制进来，协助我们的数据存 储和处理、发布。 1