数据挖掘在基于时间序列的水文数据分析的应用.doc

数据挖掘技术在基于时间序列的流域水文数据分析领域的应用 摘要 摘要：针对流域水文数据存在的海量、复杂、时空性等一系列特点，面向流域防洪与兴利等主题，建立了以数据层、组织层、挖掘层以及决策层为基础的流域水文数据挖掘体系，针对海量水文数据集，如何更加有效合理的利用它们，从这些数据中间挖掘有用的信息，以促进水利行业发展，随着科技的进步，特别是信息产业的发展，我们进入了一个崭新的信息时代。数据挖掘正是从大量的实际应用数据中，提取隐含在其中的、人们事先不知道的、但潜在有用的信息和知识的过程。 本文首先介绍了数据挖掘技术的概念、方法以及水文分析和时间序列的相关概念。其次，本文详细阐述了数据挖掘技术在时间序列的水文数据分析领域的应用，其中对相似性分析的关键技术进行了比较细致的研究，包括模式识别，基于特征点的分段线性表示以及相似性度量。 关键词：数据挖掘，时间序列，相似性度量，水文分析 目录 1 引言 1 2 数据挖掘技术与时间序列水文分析概述 1 2.1 数据挖掘的概念 1 2.2 数据挖掘方法与知识分类 2 2.3 数据挖掘的基本步骤 2 2.4时间序列分析的主要内容： 2 2.5 时间序列的基本概念 3 3 数据挖掘在时间序列的水文数据分析应用 3 3.1 水文时间序列数据挖掘的概念 3 3.2水文时问序列数据挖掘研究方向 3 3.3 时间序列相似性分析关键技术研究 4 3.3.1 水文时间序列相似性分析基本原理 4 3.3.2 时间序列的模式识别 4 3.3.3 时间序列-基于特征点的分段线性表示 5 3.3.4 时间序列的相似性度量 5 4 结束语 6 参考文献 7  1 引言 随着信息技术的飞速发展，人类在各个领域所积累的数据正以指数方式增长，现代社会的竞争趋势要求对这些海量的数据进行实时的和深层次的分析，以揭示隐藏在这些数据背后的潜在更有用的信息，为决策部门在决策制定过程中提供重要的参考依据。为了解决这个在信息领域具有普遍性的“知识发现”问题(KDD)，数据挖掘(DM，又称为数据采掘、数据开采)技术应运而生。数据挖掘(Data Mining)就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。它不仅是面向特定数据库的简单检索查询调用，而且要对这些数据进行微观、中观乃至宏观的统计、分析、综合和推理，以指导实际问题的求解，企图发现事件间的相互关联，甚至利用已有的数据对未来的活动进行预测。 通过数据挖掘技术在基于时间序列的水文数据分析领域的应用，对水文数据具有良好的查询优化机制，可发现时间序列数据库中蕴藏的相似性，有利于掌握数据变化规律和趋势。利用数据挖掘技术时间序列分析理论，建立水资源系列随时间变化趋势分析模型，在浩瀚的历史水文数据库里，发现各种水文要素变化的规律性和要素之间的相关性，为有效预测提供依据，对防洪抗旱，水资源的分配与调度，水利工程建设，工农业生产以及国民经济建设的其它方面都有重要的参考价值和指导意义。 2 数据挖掘技术与时间序列水文分析概述 2.1 数据挖掘的概念 数据挖掘(Data Mining)，是从大量的、不完全的、有噪声的、模糊的、随机的数据集中，提取隐含在其中的、人们事先不知道的、但又是潜在的有用的信息和知识的过程，提取的知识表示为概念、规则、规律、模式等形式。数据挖掘是一种决策支持过程，分析各组织原有的数据，做出归纳的推理，从中挖掘出潜在的模式，为管理人员决策提供支持。数据挖掘，又称为数据库中知识发现，也有人把数据挖掘视为数据库中知识发现过程的一个基本步骤。知识发现过程以下步骤组成：数据清理，数据集成，数据选择，数据变换，数据挖掘，模式评估，知识表示。 2.2 数据挖掘方法与知识分类 数据挖掘方法结合了数据库技术、机器学习、统计学等领域的知识,从深层次挖掘有效的模式。常见方法有关联规则、决策树、神经网络、粗糙集法、分类、聚类方法、遗传算法和统计分析方法等，在不同的领域，针对需要解决的具体问题，需要完成的挖掘主题，采用不同的数据挖掘技术或方法。 数据挖掘所发现的知识最常见的有以下五类： 广义知识指类别特征的概括性描述知识； 关联知识反映一个事件和其他事件之间依赖或关联的知识； 分类知识反映同类事物共同性质的特征型知识和不同事物之间差异特征知识； 偏差型知识对差异和极端特例的描述，揭示事物偏离常规的异常现象； 预测型知识根据时间序列型数据，由历史的和当前的数据去推测未来的数据。 2.3 数据挖掘的基本步骤 问题的理解和提出：在开始数据挖掘之前最基本的就是理解数据和实际的业务问题，在此基础之上提出问题，对目标有明确的定义。 数据准备：获取原始数据，从中抽取一定数量的子集，建立数据挖掘库。其中涉及到的一个问题是如果企业原来的数据仓库满足数据