多源海洋观测数据有效性与一致性校验方法分析与数据库架构的实现-analysis of validation method of validity and consistency of multi-source ocean observation data and implementation of database architecture.docx

多源海洋观测数据有效性与一致性校验方法研究 与数据库架构的实现 摘 要 国家海洋局东海预报中心作为东海区的海区预报机构，同时承担了东海区海 洋观测数据传输系统的海区节点任务，是东海区预报的网络中心与数据中心。随 着计算机的大量应用，海洋观测数据的记录从原先的纸质报表逐渐电子化，观测 手段从原先的人工观测逐渐实现仪器自动化观测。 目前，由于新老海洋观测数据采集仪器并存、各类通讯方式并存、数据的仪 器自动化与人工观测采集方式并存、采集或编报软件存在缺陷、人工数据补缺存 在疏忽等原因，造成汇集的文件及数据物理意义混乱、相同数据的文件格式和采 集时间定义不同、不同通讯方式传输到达的数据文件重复等问题，导致数据处理 和管理极其复杂。 本文在对东海区业务化观测数据传输网传输汇集的多种来源的各类海洋观 测数据进行了大量调研与分析的基础上，对东海区实时观测数据处理和数据库系 统集成与管理现状进行了全面的分析和研究。目前东海区海洋观测数据的处理和 管理、数据库建设方面存在数据多源性、多样性、数据库存储结构单一和数据管 理方式的落后——缺乏管理平台等几方面问题。 针对数据处理、存储与管理中遇到的有效性与一致性问题，从优化数据管理 架构的角度进行海洋数据校验与处理标准的制定、数据库“三层架构”的构建和 数据管理平台的设计与实现。（1）海洋数据校验与处理标准的制定：旨在对不同 格式、类型的文件和数据制定统一的数据有效性判断及入库处理标准，保留数据 的原始信息，保障数据的完整性。（2）“三层架构”设计与实现：通过建立原始 库（包括原始文件库和原始数据库）、基础库、专题应用库的三层数据库架构体 系，根据制订的校验与处理标准进行数据处理，实现处理过程中的信息保留，以 利于对数据的统计、分析与管理。 本文的最终研究成果包括三部分。1）制定了一套适用于东海区海洋观测数 据校验与入库处理的标准。针对目前海洋观测数据传输中有效性与一致性存在的 问题，在无法从根本上解决前端设备或软件所存在问题的情况下，以保证数据完 整性为前提，以海洋观测业务相关规范为依据，制定了观测数据校验与入库处理 标准，适用于东海区海洋观测数据的入库管理流程。 2）构建了一套具有“三层架构”的数据库管理系统。通过改进原有的单一 数据库架构，建立了具有“三层架构”——原始库、基础库、专题库的数据库管 理系统，解决了多源、多样、多类型数据的原始保存，集约利用及专题集成需求， 即通过原始库零处理保存各类数据，保证数据的完整性；通过基础库消除多源数 据获取中的冗余，达到数据集成最简化；通过专题库建立面向应用的专题数据集， 提供快速便捷的访问接口。 3）创建了一套东海区海洋实时观测数据可视化管理平台。利用可视化编程 技术开发设计了该管理平台，解决了目前过于依赖 oracle 数据库管理工具，缺 乏定制化的海洋观测数据可视化管理平台等问题，初步实现了对海洋台站数据的 可视化管理，包括数据的增删改查、数据库用户管理及简单的报表统计分析功能 等。 本文提出且实现了“数据处理——数据存储——数据管理三位一体”的研究 思路。本研究在总结海洋观测业务经验的基础上，通过不断的探索与设计实现， 将数据的有效性与一致性校验、数据库的结构优化、数据管理手段的提升等工作 有机地结合起来，使得数据管理人员更加明确东海区的数据现状，数据库架构以 及管理方法，同时也为海洋数据研究分析、海洋预警报等工作提供实时准确的基 础数据奠定了基础。 本文基于海洋学相关知识，针对多源的海洋观测数据制订相应的优先和有效 级别，对其进行了标准化和统一化处理和数据的规范化管理。同时，设计了“三 层架构”数据库系统，以及在“三层架构”基础上，以海洋台站实时数据为例， 初步构建海洋台站实时观测数据管理平台，实现对海区级多源海量异构海洋台站 实时观测数据的查询、管理、报表分析等管理。数据处理与标准的建立、“三层 架构”数据库系统和数据管理平台的建立，将更加高效地对数据进行处理，为海 洋预警报和防灾减灾提供实时、可靠的基础数据平台。 关键词：数据校验，数据处理，数据库架构，数据管理 多源 多源海洋观测数据有效性与一致性校验方法研究与数据库构架的实现 Study on the Methods for Checking Validation and Consistency of Multi-source Ocean Observing Data and the Realization of Database Architecture Abstract East China Sea Marine Forecasting Center of State Oceanic Administration, which is established for forecast