基于机器学习的水资源异常值分析与检测方法研究.pdfVIP

基于机器学习的水资源异常值分析与检测方法研究 摘 要 水资源异常数据检测是水资源信息处理和系统决策的关键环节，是取水信息监控系 统正常运行的前提，也是推动智慧城市水资源管理与建设的重要支撑。随着物联网、互 联网以及大数据技术的发展，水资源系统的信息化进程不断加快，数据的真伪性问题也 越来越突出，水资源大数据的异常值检测面临着新的挑战。而传统的异常检测模式多采 用人工抽检，效率低且误判率高，无法满足海量取水数据的异常检测需要。因此，研究 有效的水资源异常值检测算法，解决水资源管理系统的真伪性问题，已经成为新型智慧 城市乃至国计民生发展的重中之重。本文主要针对水资源数据的信息处理问题，开展了 异常值分析与检测的方法研究。主要工作内容简述如下： 1）提出了基于一类支持向量机 （One Class Support Vector Machine ，OC-SVM ）的 水资源异常检测与分析方法，解决了实际水资源数据正负样本不均衡且无标签的训练问 题，并根据评分函数分别对水资源取水数据进行异常值特征分析。从一维、三维、七维 三种情况分析并总结了日取水数据中各类异常值的特征，又从一维和二十四维两种情况 对小时取水数据集中的异常值特征进行深入剖析，取得了很好的分析效果，为取水监测 系统的异常检测提供了依据，为后续异常值检测模型的设计打下基础。 2 ）提出了基于联合自编码器 （Joint Auto-Encoder ，JAE ）的异常值检测方法。该方 法设计了一种权重共享的联合自编码器网络，提出混合损失函数作为网络优化目标，并 提出双阈值异常判定准则。该网络模型针对日取水数据的特点，解决了不均衡样本中特 征提取难、异常门限值选取难等问题。在实验中，分别将JAE 方法应用于合成数据集、 MNIST 数据集以及水资源数据三大数据集，并通过ROC 和AUC 值评估模型的性能， 证明了JAE 在异常值检测的有效性和适应性。同时，还将JAE 方法与AE 方法、OC-SVM 方法、OC Deep SVDD 方法进行了对比，证明了JAE 在异常值检测的优越性。最后，通 过水资源信息融合与决策支持平台，验证了JAE 异常值检测算法的有效性，并将该算法 应用于实际水资源异常数据的实时智能监控。 关键词：异常值检测；机器学习；深度学习；水资源信息处理 I Research on Water Resources Outlier Analysis and Detection Based on Machine Learning Abstract Outlier detection of water supply data is a key link in water resources information processing and decision-making. It is not only a prerequisite for the normal operation of the water resource intake information monitoring system (WRIIMS), but also an important support for promoting the construction and management of water resources system in smart city. With the development of Internet, Internet of Things and big data technologies, the process of informationization of water resources system is being accelerated. At the same time, the problem of data authenticity is becoming more a