小浪底工程多源异构监测数据融合应用--宋书克-中国大坝工程学会.DOCVIP

小浪底工程多源异构监测数据融合应用 宋书克[1] 尤相增[1] 薛恩泽[1] 张 冉[1] (1.黄河水利水电开发总公司，河南省郑州市 471000) 摘要：小浪底工程大坝安全监测系统涵盖外部变形、内观、巡视检查、泥沙淤积测验、地震监测、环境监测信息等，由于实施阶段性、技术性以及其它经济因素等影响，监测数据源从简单的文件数据到复杂网络数据库分布分散存在，呈现典型的多源异构特点。为满足安全监测分析需要，小浪底工程基于网络服务和网络爬虫程序实现多源异构监测数据自动汇集和数据融合，并基于微信平台实现消息自动应答并捕捉记录半结构化监测信息，对多源异构监测信息融合进行了有益探索，取得了较好的应用效果。 关键词：小浪底工程安全监测；网络服务；监测数据汇集；微信消息自动应答 中图分类号： 文献标识码：A 1 引言 小浪底大坝安全监测系统涵盖外部变形监测、内观观测和巡视检查、库区泥沙淤积测验、库区滑坡体监测、渗漏水量测以及地震监测等，每年采集约150万条各类监测数据，编写各类监测报告超过100万字，获取现场监测照片、地震波形文件和视频资料超过200G。从小浪底监测实践看，各类监测设施和监测手段差异性较大，既有先进的自动化、智能化监测系统和设备，也有必不可少的人工辅助监测手段，安全监测数据源从简单的文件数据到复杂的网络数据库分布分散存在，呈现典型的多源异构特点。 本文在智慧大坝[1]和智慧监测顶层设计的框架下，主要阐述了小浪底多源异构监测数据汇集策略和网络服务（Web Service），介绍了结构化、半结构化和非结构化数据汇集技术，并以微信消息自动应答为例介绍了网络服务接口的应用。 2 多源异构数据网络服务 2.1 数据源种类和特点 小浪底监测系统随着技术的进步不断完善。1995年以来小浪底大坝安全监测逐步形成了自动化数据采集系统、安全监控分析系统、地震观测系统、泥沙信息管理系统等。各系统组建时建立了不同的局域网网段，主要采用客户端服务器工作模式（C/S）。2009年年开始逐步完成水情、工情等系统的信息改造和完善，2014年建立了三维地理信息系统，2015年实现实时监测塔前泥沙淤积高程，2016年在排沙洞出口安装了泄流泥沙含量实时监测试验装置，2017年对库区阳门坡滑坡体进行了外部变形监测自动化改造。人工巡检和大坝安全会商成果报告采用Word格式，从办公网络和互联网可以及时得到工程环境量信息（库水位、气象等）。因此，小浪底大坝安全监测系统形成了在虚拟专用网络条件下[2]以SQL Server数据库为主，辅以Access 等其他关系型数据库、Excel和Word文件格式并存的多源异构数据[3]，数据的主要特点是混合性（包括结构化和非结构化）、分散性（数据分布在不同的系统或平台）、准确性和及时性差异明显（数据质量参差不齐，既包含实时性要求较高的淤积高程和出库水体含沙量数据，也包括每周乃至每月更新一次的数据）。 2.2数据汇集设计 根据小浪底监测数据源种类和特点，传统的数据中心整合模式因投资巨大、数据搬迁困难等问题，短时间内无法满足小浪底监测数据汇集的要求。为满足监测数据融合的需求，需要合理规划监测信息的清洗收集策略，将各个系统的关键成果数据通过数据接口包装成网络服务，实现数据在逻辑上的汇集和整合（见图1）。 图1 网络服务接口架构设计 网络服务接口实现一般采用Web Service[4]。网络服务功能设计按照监测项目划分为3类，一是获取监测设施布置和状态类，二是获取最新监测测值类，三是获取特定监测点历史测值类。为满足接口兼容性和扩展性设计，可通过Web Service配置文件（Web.Config）设置关键监测项目模版，按照统一格式由用户自定义信息进行汇集项目设置，若更改数据汇集策略，仅需要对配置文件进行修改并相应调整数据库内对应的存储过程即可完成。 2.3 数据服务实现 小浪底安全监测Web Service在微软开发工具 Microsoft Visual Studio? .NET环境下使用C# 进行编码实现，并在互联网信息服务(Internet Information Services,IIS)环境下进行企业内网部署。网络服务的核心是结构化、半结构化、非结构化监测数据融合。 2.3.1结构化数据汇集。结构化监测数据汇集处理相对简单。使用SQL Server链接服务器方式即可进行外部EXCEL文件（包括虚拟网络内的异地文件）和ACCESS等数据库访问，采用作业（jobs）机制可以较好解决监测数据之间的同步问题。 结构化数据汇集应当通过数据库内置的存储过程（Stored Procedure）来处理。使用存储过程可以提高解决方案的性能并使之更安全，也可以增加数据层的抽象级别，从而保护