基于可变滑动窗口的数据流闭合频繁模式挖掘分析-mining analysis of closed frequent patterns in data streams based on variable sliding window.docxVIP

江苏科技大学学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许 论文被查阅和借阅。本人授权江苏科技大学可以将本学位论文的全部或 部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制 手段保存和汇编本学位论文。 本学位论文属于： (1)保密□，在 年解密后适用本授权书。 (2)不保密□。 学位论文作者签名： 指导教师签名： 年 月 日 年 月 日 第 1 章 绪论1.1 研究背景从 90 年代初，数据挖掘在短短十几年里得到了迅速的发展，在对数据进行分类、 聚类以及关联规则挖掘等处理算法和框架方面积累了很多经验。它融合了空间数据 分析、信息提取、模式识别、图象分析、信号处理、计算机图形学、Web 技术、经 济、或心理学领域的技术，目的是从存储在数据仓库、数据库或其他信息库中的数 据中抽取出隐藏在数据中的有用知识并提供给人们，从而为决策者进行决策提供重 要的依据，因而大大提高了决策的科学性，降低了盲目性；此外，依赖于所用的数 据挖掘方法，可以使用其它学科的技术，如神经网络、模糊/粗糙集理论、知识表示、 归纳逻辑程序设计、或高性能计算[ 1] 。这些数据挖掘技术有一个共同点：数据源都 存储在永久性介质中，可以多次访问。20 世纪末，随着 Web 点击流、能量消耗分析、传感器网络数据分析，股市波动 动态跟踪等领域的出现，数据收集、存储和传输技术的发展，产生了一种新的数据 密集型的应用领域：数据流（Data Streams）。这些数据是按时间顺序的、快速变化 的、海量的和潜在无限的。如何存储和操作这些大量、高速、连续到来的数据流变 得非常迫切。传统的数据库管理系统是以静态数据为中心的数据存储和管理体系，它适合于 在稳定的数据库上进行批量操作和精确查询。而在数据流中，随时间不断变化的数 据需要系统能够连续地装载单个的数据项，并且能够连续地进行实时的查询操作。 基于传统的数据库管理系统的数据挖掘算法针对的是静态的数据库，使得这些算法 无论在空间复杂度和时间复杂度方面都不能适应数据流挖掘。为了能够适应这种新的需求，很多传统的数据库管理系统逐渐进化成为一种新 的数据流管理系统（Data Stream Management Systems，DSMS），如图 1.1 给出了数 据流管理系统的抽象体系结构。新的数据流管理系统有两个鲜明的特点：（1）传统的以数据为中心的管理模式被新的以查询为中心的管理模式所取代， 数据不再假设是固定存储在各类存储介质上而是随时间变化的，相反查询却变得相 对稳定；（2）新系统不再谋求得到精确的查询结果，取而代之是以近似查询结果来提高 效率，采用的方法有数据概要技术、随机采样算法、直方图算法、小波技术等[2]。 因此，这促使人们设计新的挖掘算法来适应新型数据流模型。Input monitorWorkingSummary storageQuery ProcessorOutput BufferStreaming inputsStatic storageUpdatestoQuery repsitoryStreaming outputsStatic DataUser queries图 1. 1 数据流管理系统的抽象体系结构Fig 1.1 The abstract architecture of data stream management system在数据流管理系统的基础上，结合数据挖掘、机器学习、知识发现等理论和技术，一项新的智能信息处理技术——数据流挖掘（Data Stream Mining）逐渐兴起。 在数据流挖掘中，数据是快速，连续不断地到来的，而挖掘算法需要对数据进行实 时操作，因此不可能频繁地对数据进行访问；另外由于内存空间大小的限制，将所 有数据的所有信息都保存下来是不实际的，而只能保存数据的概要信息。一方面扫 描，另一方面又要求快速保存信息，这无疑增加了挖掘算法实现的难度。同时数据 流上的数据信息是多变的，频繁项也是随着数据流动变化而发生变动，如果要得到 精确的数据流中的频繁项，挖掘算法必须要保存数据流中所有的当前的和历史的数 据，但是，这又和数据流的海量特性相矛盾。在这种情况下，数据流上的频繁项挖 掘算法得到是近似结果，也只能得到近似结果。因此，在动态数据集上挖掘频繁项 是一项困难的任务[4]。数据流应用的特性产生了一些本质性的新的研究问题，它们 是传统的数据库技术和数据挖掘技术无法解决的，为解决这些问题，适应新的应用 需求，数据流挖掘成为目前研究的热点。1.2 国内外研究现状由于数据流连续不断流入，高速产生与传输，数据量无限大，因此，在有限的 存储空间中无法及时保存数据流的全部数据，这也是传统数据