基于数据流的挖掘研究.pdfVIP

基于数据流的挖掘研究幸 楚红涛寒枫张燕王婷’ 华北电力人学计算机科学与技术学院，河北保定071003 摘要：网络通信技术的发展，大量流式数据的应用呈现在我们面前．目前，数据流处理已应用在 很多领域。针对数据流的挖掘尤为重要．首先将流数据与传统数据进行比较，然后对数据流的聚类分 ’ 析，频繁集挖掘作了介绍。 关键词：数据流数据挖掘聚类分析频繁集 1引7言 随着计算机，通信，网络技术的发展，许多戍JHj领域出现了海管，高速，动态的数据，如交通1：科和 网络监控，电信记录分析，金融信息监控，传感器网络监控等。传统数据挖掘可随机访问数据，但在流数 据这一新的数据模型上，需要考虑其实时性，动态性以及挖掘算法的单遍扫描限制¨1。 从挖掘功能的角度考虑，目前数据流挖掘人致包括：数据流聚类与规约方法，数据流分类，关联分析 与时序分析。 2数据流挖掘模型 Stream)。 连续的，近似无限的，时变的，有序的且快速流动的数据元素组成的无限序列称为数据流(Data 按照同定的顺序，这些数据元素只能被读取一次。若令t表示任意时间戳，xi表示在t时刻到达的数据元素。 则数据流可表示为无限集合{…．．X．．J，Xi，X…，．．．．}。 数据流与传统数据的区别是： (1)数据流中的数据是随时间变化流入的，而传统数据库中的数据是静态存储在磁盘或其它存储介质中。 (2)数据流中的数据是按时间顺序流过的，对数据只能依次进行顺序访问，如果不做保存，对数据只能 访问一次，而磁盘或其他存储介质中的数据可以随机，多次访问。 (3)数据流中数据是无限的，而数据库的数据是有限的。 (4)由丁在有限的存储空间中无法存储数据流的全部数据，因此数据流上的挖掘多数只能得到近似结果． 而传统数据库中的挖掘则可以得到精确的挖掘结果。 (5)系统只能保存数据流全部数据的一个有限子集或统计数据．并随着新到米的数据而更新，更新的频 度取决r流的速度，一般米说，数据流的更新频率远高丁．传统数据库中的数据。 基丁流数据自身的特点，数据流挖掘算法应该满足：低内存消耗和计算高效的一趟扫描算法：跟上数 据流节奏的新技术的发现；加快数据流挖掘的过程，知识发现和数据挖掘不是一个单一的任务，而是一个 相互协作的过程。 邢台人，副教授，研究方向为数据仓库。j数锯挖掘。 3数据流挖掘理论基础 挖掘算法没计和概要数据结构的设计成为影响整个数据流挖掘过程的关键要素，其性能的优劣直接影 响算法的时间和空间复杂度。在数据流处理中，由丁．存储空间的限制，算法的空间复杂度尤为重要，它是 评价其性能优劣的重要指标。由此可知，数据流处理的重点就是设计有效的概要数据结构，使其能够满足 数据的近似处理要求，得到误差可控的结果【4】。今年米，国内外学者对这种数据结构进行了较深入的研究， Window)， 概(Sketch)技术，以及各种高效的树性存储结构筲。再有就是基丁．近似算法，滑动窗121(Sliding 算法输出粒度的技术。它们己J-泛麻Hj丁．数据流的处理和挖掘中。 叩 田 ‘ ① ② 图1数据流挖掘模型 4数据流挖掘技术 4．1聚类分析 聚类分析方法是数据挖掘的重要手段之一。聚类的基本思想是把数据按照相似性归纳为若干类别，同。 一类中的元素彼此相似，不同类中的元素相异。一般分为：划分方法，层次方法，基于密度的方法，基于 网格的方法和基丁．模型的方法。数据流本身所具有的特征使得传统的聚类算法不可能(甚至不能)直接应