子午工程-科学数据库.doc

子午工程科学观测数据预处理系统的设计与实现 马文臻 邹自明 佟继周 郑岩 （中国科学院空间科学与应用研究中心，北京100190） 摘 要 子午工程科学观测数据预处理系统利用先进的计算机技术、数据库技术和相应软件支持，对子午工程分布在东经120o和北纬30o附近15个地面台站的23种95台监测仪器采集的种类繁多、格式各异、质量不一、交换方式不同的大量科学观测数据按照不同的数据预处理模式进行有效、安全、可靠、规范的数据预处理，然后将其分类储存到子午工程科学数据库中以进行统一管理与共享服务。系统设计的核心思想是实现高适应性、扩展性和可靠性。本文介绍了数据预处理系统的核心功能、业务流程和系统设计方面的情况。 关键词 数据库 科学观测数据 子午工程 数据预处理系统 前言 子午工程沿东经120度子午线附近，利用北起漠河、经北京、武汉、南至海南并延伸到南极中山站，以及东起上海、经武汉、成都、西至拉萨的沿北纬30度纬度线附近现有的15个监测台站，建成一个以链为主、链网结合的大型空间环境地基监测系统，运用地磁（电）、无线电、光学和探空火箭等多种手段，对中高层大气、电离层、磁层以及行星际空间环境中的风场、地磁场、电场、密度、温度和成分等诸多空间环境要素进行连续监测，以掌握地球空间环境的全球变化。 科学观测数据预处理系统是子午工程的一个重要组成部分，其目标是针对种类繁多的科学观测原始数据文件建立不同的处理模式，利用网络通信技术和数据库技术，自动对其进行文件接收、属性分析、文件解包、数据排重、误码处理、格式转换和质量标注等一系列数据预处理操作，分类存入数据库中进行统一归档与管理，以便为各类用户提供完整、连续、可靠的空间环境地基综合监测数据服务。 系统需求与功能 设计需求 子午工程科学观测数据预处理系统有两个外部接口，上游接口是外部数据源，下游接口是子午工程科学数据库。外部数据源包括来自15个地面台站的23种95台监测仪器的所有原始数据。子午工程科学数据库是子午工程科学任务的数据库实体，用于子午工程各种数据的存储、管理与服务。系统从外部数据源???取科学观测原始数据文件，识别不同文件并自动为其匹配相应的数据预处理模式进行处理，将处理结果自动入库到子午工程科学数据库中。 根据需求分析，本系统可以分为业务层、数据层和应用层。 业务层：即系统对数据源进行自动、集中的收集和预处理业务； 数据层：即系统内部的数据库实体，包括预处理数据库和预处理管理库，前者用于暂存数据预处理结果，后者用于存储系统运行所需的各种配置信息、管理信息和日志信息等。 应用层：指业务员和技术人员通过前台的操作工具对系统进行管理、控制和监视。 系统的逻辑结构如图1所示。 系统逻辑结构示意图 功能结构 子午工程科学观测数据预处理系统由后台服务和前台工具两部分组成。后台服务即自动处理系统，包括数据接收与结果反馈、数据处理、数据入库三个功能模块，运行在后台服务器上，对应逻辑结构中的业务层功能。前台工具包括业务操作工具以及系统管理工具，运行在前台Windows客户端上，对应逻辑结构中的应用层功能。其中，业务操作工具包括系统处理任务配置、系统处理任务控制、系统运行监控、数据再处理、数据校验、日志管理六个功能模块，系统管理工具包括系统定义和用户管理两个功能模块。预处理数据库以及预处理系统库是数据库实体，对应逻辑结构中的数据层，运行在数据库服务器上，为整个系统提供数据支持环境。 系统的功能结构如图2所示。 系统功能结构示意图 预处理模型与设计 由于各个观测台站的设备多种多样，数据格式不同，数据质量不一，文件交换方式各异，因此所提供的数据源也多种多样。系统需要为不同的原始数据文件建立不同的数据预处理模式，并具有扩展新数据项的预处理能力。 系统承担了繁重和复杂的数据处理任务，对处理能力和平衡能力提出很高的要求，能否流畅运行很大程度上取决于它是否具有强大的并行计算能力以及高适应性和扩展性。 模型构造 数据预处理后台采取“1个任务控制中心 ＋ N个程序池”的模型，对原始数据进行集中、自动、批量、并行的数据预处理，系统的模型如图3所示。 数据预处理后台任务控制中心运行在双机热备份的Linux服务器上，负责分析、产生和调度数据处理任务。具体针对每项原始数据的预处理功能，包括处理流程、处理规则和计算模式等，被封装设计成独立的数据预处理模式实现，所有数据项所对应的数据预处理模式的集合即为程序池。完全相同的N个程序池分别部署在不同的预处理计算单元物理服务器上运行。各计算单元从控制中心接受任务，调用不同的数据预处理模式对不同的原始数据文件执行处理。 预处理模型示意图 系统实现 任务控制中心根据数据库中的配置为系统接收到的不同原始数据文件分别匹配相应的数据预处理模式号，生成数据处理任务；对各并行的N个程序池进行负载平衡