界标窗口中数据流频繁模式挖掘算法研究.docVIP

2012 年 1 月 January 2012 计 算 机 工 程 Computer Engineering 第 38 卷 第 1 期 Vol.38 No.1 ·软件技术与数据库· 文献标识码：A 文章编号：1000—3428(2012)01—0055—04 中图分类号：TP311.13 界标窗口中数据流频繁模式挖掘算法研究 张广路 1，雷景生 2，吴兴惠 1 (1. 海南师范大学数学与统计学院，海口 571158；2. 南京邮电大学计算机学院，南京 210046) 摘 要：数据流的流量太大会无法被整个存储，或被多次扫描。为此，在研究已有挖掘算法的基础上，提出一种界标窗口中数据流频繁模 式挖掘算法 DSMFP_LW。利用扩展前缀模式树存储全局临界频繁模式，实现单遍扫描数据流和数据增量更新。实验结果表明，与 Lossy Counting 算法相比，DSMFP_LW 算法具有更好的时空效率。 关键词：界标窗口；频繁模式；数据流；DSMFP_LW 算法；滑动窗口 Research on Data Stream Frequent Pattern Mining Algorithm in Landmark Window ZHANG Guang-lu1, LEI Jing-sheng2, WU Xing-hui1 (1. School of Mathematics and Statistics, Hainan Normal University, Haikou 571158, China; 2. School of Computer Science Technology, Nanjing University of Posts and Telecommunications, Nanjing 210046, China) 【Abstract】For data traffic flow is too large to store the entire data stream or on its scan times and other issues, through the research of algorithms on mining frequent patterns that are proposed, this paper proposes an algorithm on mining frequent patterns over data stream based on Landmark window, named DSMFP_LW. DSMFP_LW has major features as follows: namely single streaming data scan for counting pattern’s information, extended prefix-tree-based compact pattern representation, and incremental update of data. Experimental results show that DSMFP_LW algorithm has better utilization of time and space efficiency. In addition, it outperforms the well-known algorithm Lossy Counting in the same streaming environment. 【Key words】landmark window; frequent pattern; data stream; DSMFP_LW algorithm; sliding window DOI: 10.3969/j.issn.1000-3428.2012.01.014 1 概述 数据流广泛出现在传感器网络、金融证券管理、网络监 控、Web 日志以及通信数据在线分析等新型应用领域中。由 于数据流中数据的规模一般都十分庞大、且增长迅速，因此 有限的存储空间中无法完整地保存数据流上的全部数据，这 给数据流上的数据处理带来了巨大的挑战，数据流频繁模式 挖掘技术逐渐成为数据挖掘领域研究中的问题。针对数据流 中数据的快速变化、规模宏大及单遍扫描的特点，对数据流 上频繁模式挖掘算法提出了更高的要求。 在数据流频繁项集挖掘方面，国外许多学者深入研究并 提出了自己的算法[1-7]。文献[2]提出 Lossy Counting 算法，将 数据流分成事务数相等的桶，算法使用数据结构 D(e, f, Δ)保 存项集信息，但是由于产生的候选项集数量巨大，而且将数 据存储在辅存中，致使算法效率不高。但是该算法产生了太 多