一种基于改进事务链表组数据流频繁集挖掘算法.docVIP

一种基于改进事务链表组的数据流频繁集挖掘算法 　　摘要:根据数据流的海量特性和时变特性，提出一种基于事务链表组的数据流频繁集挖掘算法T-Stream。在变尺度滑动窗口机制下，该算法采用改进事务链表组的概要数据结构，能够根据数据流的数据分布变化自适应调整窗口大小。仿真实验结果表明，T-Stream相比Manku算法提高了挖掘数据流频繁集的时间与空间效率。 　　关键词: 数据流；事务链表组；频繁集；变尺度滑动窗口 　　中图分类号：TP311文献标识码：Adoi:10.3969/j.issn.1003-6970.2010.10.015 　　 　　Improved Transaction List Group Based Frequent Itemsets Mining Algorithm Based Frequent Itemsets Mining Algorithm On Data Streams 　　 　　ZHANG Xueli 1 　　(1. Computer Science And Technology School , China University of Mining and Technology,Xuzhou 221116,Jiangsu) 　　 　　Abstract: According to the characteristics of mass and time-varying for data, a improved transaction list group based frequent itemsets mining algorithm T-Stream upon data streams is proposed. The algorithm could self-adaptively adjust the size of time windows. In the algorithm, transaction list group is adopted as synopsis data structure. The experiments indicate that the T-Stream algorithm is more effective than the Manku algorithm in term of temporal and spatial performance. 　　Key words: Data stream; Transaction list group; Frequent itemsets; Variable slide window 　　 　　1. 引言 　　 　　近年来，在很多应用领域中，出现了一种新的数据模式，其数据不是以传统的有限数据集形式，而是以连续的数据流形式出现，这些应用领域包括传感器网络、电信数据管理、网络安全和金融数据在线分析等。起源于20世纪 90年代的关联规则是数据挖掘的一个核心课题。与基于统计回归等数学方法进行数据分析不同，关联规则显得隐蔽而难以直接发现。挖掘关联规则的关键步骤是从数据中得到满足一定支持度的频繁项集。经典的 Apriori 算法通过分析购物篮事务数据得到该事务数据库上的频繁项集[1]。Han等[2]提出的FP-Growth算法进一步提高了挖掘频繁项集的性能。然而,这些频繁项集挖掘算法都需要多次扫描数据，不能满足数据流挖掘的要求。 　　国内外学者在数据流的频繁项集挖掘上提出了许多算法，他们都是针对传统数据挖掘技术的多次扫描数据进行改进或者提出新的思路。如Manku等[3]首次使用近似算法进行数据流的频繁项集挖掘，该方法仅需一次扫描数据，并且通过牺牲挖掘结果的精确性来提高挖掘的效率。但该算法挖掘的是整个历史数据流上的频繁项集，而在许多情况下，用户仅关心最近数据上的频繁项集；且该算法使用缓存技术 ,占用大量的内存空间。由于用户对最近的数据兴趣度更高，一些基于此要求的数据处理机制，如滑动窗口方法和数据衰减方法被成功地应用于数据流挖掘。文献[7]提出一种改进的FP树结构 ,能够有效挖掘具有长频繁模式的数据流。 　　根据以上问题，本文提出一种基于事务链表组的数据流频繁集挖掘算法T-Stream。该算法根据数据流本身的变化在变尺度时间窗口上进行自适应调整，采用改进事务链表组的概要数据结构，同时利用近似技术一次扫描数据快速得到频繁项集。理论分析和仿真实验均表明，T-Stream在时间和空间效率上得到了提高。 　　 　　2. 基本概念和技术 　　 　　2.1 变尺度滑动窗口 　　 　　在以往数据流挖掘算法中,很多算法基于不变的滑动窗口机制,在时空复杂度等性能方面取得了较大成果.但这些技术大都忽略了具体问题中