黄河流域水文水资源数据集成管理系统探索与实践 .pdfVIP

黄河流域水文水资源数据集成管理系统

探索与实践

摘要：随着社会经济与工业化的发展，我国水源污染问题不断加剧，这使人

们意识到了水源生态保护的重要性。如今，我国颁布了很多黄河流域生态保护战

略措施，还基于相关行业及政府网站发布的水文水资源数据，构建了黄河流域水

文水资源数据集成管理系统。在此背景下，本文结合系统架构简要分析了系统数

据自动化采集等技术，还明确了系统功能模块、内容，这在很大程度上可为黄河

流域的治理及规划奠定数据基础。

关键词：黄河流域；水文水资源；数据集成管理；系统设计

引言：一直以来，黄河流域的生态保护及发展都是我国的重要战略。作为全

球泥沙含量最高且治理难度最大的河流之一，黄河的治理工作受到业界的高度重

视。而如何使用有效方法综合治理黄河流域并做好生态保护，尤为关键。为顺利

开展黄河流域治理工作，基于数字化技术构建包含黄河流域水文与水资源等数据

的信息集成系统，不仅能实现有效治理，还能为规划发展提供依据。

一、黄河流域水文水资源数据集成管理系统架构

黄河流域水文水资源数据集成管理系统设计的过程中，利用大数据等先进科

技，整合相关行业互联网与企业的数据资源，合理构建数据集成管理系统，不仅

能自动采集、处理相关数据，还能进行标准化管理，这在一定程度上也能解决数

据分散与利用率偏低等问题。该系统主要借助B/S架构，并以组件化分解成不同

的服务，各服务还相对独立，要想改变某一功能，只要重新构建相应服务便可。

该系统共有四大部分，首先是基础数据层，主要是采集数据并将数据传输到

资源库。其中，数据内容包括流域监测站的气象以及互联网发布的流量等信息，

还有水利工程相关数据。其次是资源支撑层，有利于网络和数据管理，其中涉及

数据存储、计算等，严格按照数据处理标准进行操作，可以有效保证网络的安全。

再者是应用支撑层，可为业务应用提供基础服务，比如分析框架服务与GIS三维

平台等。最后是业务应用层，包括资源库、底层数据等，不仅能全面展示水文库

与水资源库的信息，还能为其他业务应用提供数据参考，如帮助防洪度汛等决策

的制定。

二、系统技术及功能

（一）技术要点

1、数据采集与存储

该系统可以实现信息数据的自动化采集，即利用互联网有关水文等的公共数

据资源，采用有效的数据采集方法并共享相关数据，这在很大程度上可以提高水

文水资源相关数据的采集质量与效率。数据的存储以分布式存储为主，该系统借

助了关系型、非关系型数据库综合存储信息数据[1]。因黄河流域水文水资源等

数据属于结构化数据，所以可以利用关系型数据库进行存储，这可更有利于数据

的获取。至于一些非结构化数据，如图形和文档等，可以使用非关系型数据库来

存储。通过统一、标准管理采集的数据信息，可为后续的数据查询与清洗奠定基

础。

2、数据清洗

为保证数据的质量与精准性，应做好数据清洗工作。因为很多数据都是由互

联网采集的公共数据资源，所以水文水资源相关数据容易出现冲突、错误与冗余

等问题。在清洗工作中，借助人工智能科技构建数据清洗模型，再利用一系列清

洗方法，如数据补缺、非法数据替换等，可以自动化清洗掉不合格的数据资源，

这不仅能提高数据的合法性，还能使数据完整。工作原理如下图所示。

图1数据清洗工作原理

（二）系统功能

1、水文水资源数据库与文件管理

本次工作主要调研了我国有关黄河的水利网站，并基于特定方法采集黄河流

域水文水资源相关数据，其中还涉及溶解氧、水质类别等数据，通过将这些数据

整合、汇总，可以构建黄河流域水文水资源数据库，也能为该系统的设计、操作

提供有力的支持。同时，该系统还有文件管理模块，可以管理重大水利工程的相

关文件，还有利于勘测资料与设计图纸等的集成化管理。该系统不仅能实现工程

文件的分类存储，还能查询并下载等，并且还可让个人创建存储空间，以便存储

个人文档与下载、查询。

2、空间数据库

该系统还设有空间数据库功能，构建混合数据结构模型，借助关系型数据库

存储相关属性数据，并根据空间数据结构存储空间数据。该数据库把空间对象抽

象确定成点、线、面，利用地理信息系统平台可以分层提取，还可通过矢量图层

文件形式进行存取。该系统涉及的空间数据有和黄河流域地理空间位相关联的数

据，还有可以反映空间信息的地图数据等，每一子系统还有相对应的空间与属性

数据[2]。同时，数据库中还有基础电子地图，包括政治分布图以及行政区划图