面向数据挖掘水文时间序列数据提取方法研究.pdfVIP

面向数据挖掘的水文时间序列数据提取方法研究 许进 河海大学水文水资源与水利工程科学国家重点实验室，南京（210098 ） E-mail：xj_hydrology@163.com 摘 要：截止2004 年底，全国水文数据累积量已经超过 10TB。面对如此庞大的数据集，如 何更加有效合理的利用它们，从这些数据中间挖掘有用的信息，以促进水利行业发展，是摆 在每个水利工作者面前的重要问题。数据挖掘正是从大量的实际应用数据中，提取隐含在其 中的、人们事先不知道的、但潜在有用的信息和知识的过程。本文研究了数据挖掘技术在水 文时间序列分析应用中的一个重要技术方法——数据提取方法，针对基于特征点的数据提取 思想，提出了一种新的数据提取方法，并与已有的提取方法进行比较，得出结论：本文提出 的APLR_FP 方法具有更高的提取效率和更小的提取误差，并且参数稳定，较易选取。 关键词：水文时间序列；数据提取；特征点 1. 引言 数据挖掘是指从大量的实际应用数据中，提取隐含在其中的、人们事先不知道的、但 【】 潜在有用的信息和知识的过程 1 。水文数据挖掘（Hydrological Data Mining ）是数据挖掘技 术在水文领域的应用，是从大量的、不完全的、有噪声的、模糊的、随机的水文及其相关数 【】 据中，提取隐含在其中的水文信息和知识的过程 2 。通常，水文时间序列的数据量大、维 数高且具有噪声的干扰。因此，直接针对水文时间序列进行数据挖掘往往需要花费高昂的计 算时间和存储空间的代价，并可能影响计算结果的可靠性。对此，常用的处理方法是对水文 时间序列先进行数据提取（也称模式表示），保留水文时间序列中的重要形态特征，消除噪 声干扰，降低数据量和数据维数，以便于后续的数据挖掘操作。 2. 常用数据提取方法 时间序列的常用数据提取方法主要包括频域表示法、奇异值分解表示法、符号表示法 以及分段线性表示法。 频域表示法的基本思想是构造转换函数将原始时间序列映射到频域空间中，通过选取转 换后频域空间中的较少特征数据表示原始时间序列，以达到消除噪声和降维的目的。常见的 【】 3 转换方法有离散傅立叶变换（Discrete Fourier Transform，DFT ） 和离散小波变换（Discrete 【】 4 Wavelet Transform，DWT ） 等。 【， 奇异值分解方法（Singular Value Decomposition，SVD）是对整个时间序列的整体表示 5 6】。它通过分析所有的时间序列，计算新的坐标体系，使得第一条坐标轴对应最大的方差， 第二条坐标轴对应次大的方差并与此之前的坐标轴正交，依次得到所有的坐标轴，根据这些 坐标轴将时间序列从原始空间转换到新的坐标空间，从而达到降维的目的。 符号化方法的基本思想是将时间序列离散化映射到包含少量字符的字符串，然后借用字 符串匹配和处理的相关研究成果进行数据挖掘的后续操作。 分段线性表示（Piecewise Linear Representation，PLR ）的基本思想是对原始时间序列数 据进行分段的线段表示。该方法的关键技术问题在于如何选择更加合适的分段点。 3. 基于特征点的数据提取方法及其改进 Keogh[7] 等人的实验表明，时间序列的分段聚集近似（Piecewise Aggregate -1-