一种基于滑动窗口模型数据流加权频繁模式挖掘方法.docVIP

一种基于滑动窗口模型的数据流加权频繁模式挖掘方法 　　摘 要： 相对于传统的频繁模式挖掘，加权频繁模式挖掘能发现更有价值的模式信息。针对数据流中的数据只能一次扫描，本文提出了一种基于滑动窗口模型的数据流加权频繁模式挖掘方法WFP-SW（Sliding Window based Weighted Frequent Pattern minig），算法采用WE-tree（Weighted Enumeration Tree）存储模式和事务信息，利用虚权支持度维持模式的向下闭合特性，同时获取临界频繁模式。对临界频繁模式进一步计算其加权支持度获取加权频繁模式，使得计算更新模式更加便捷。实验结果显示算法具有较高的挖掘效率并且所需的内存更少。 　　关键词： 事务数据流；数据流挖掘；加权频繁模式挖掘；滑动窗口模型 　　Abstract：Relative to traditional frequent-pattern mining the weighted frequent-pattern mining can find more valuable pattern information. For the data in the data stream only scanned for one time this paper proposes a data flow weighted frequent-pattern mining method based on sliding window. The algorithm adopts WE-tree storage mode and transaction information and utilizes the virtual weight support to maintain the downward closing characteristic of the mode meanwhile obtains the critical frequent mode. Furthermore the research uses the critical frequent mode to calculate the weighted support of the mode so as to make the computing mode and updating mode more convenient. Experimental results show that the algorithm is efficient and requires less memory. 　　Key words： transaction data flow；data stream mining；weighted frequent-pattern mining；sliding window model 　　引言 　　?l繁模式挖掘在数据挖掘和知识发现领域扮演了重要的角色[1]，但是却并未重点关注事务中不同项的不同重要性[2]。考虑到现实环境中不同的项有不同的权重，为了挖掘更加重要的模式，学界提出了加权频繁模式挖掘算法。例如，贵重的首饰被购买的频度比一只笔低得多，因此仅仅通过频度去挖掘很容易使得高权重的模式发生丢失，而加权频繁模式挖掘的推出即解决了这一问题。 　　在加权频繁模式挖掘领域，根据加权对象不同，可以将加权频繁模式挖掘方法分为2类。研究可得分类内容如下： 　　（1）项的权重信息。在挖掘过程中，通过使用项集的加权支持度代替传统模式挖掘算法的频繁支持度确定加权频繁模式。此类算法从WFIM[3]开始，扩展到许多不同的应用领域中，例如序列模式挖掘[4-5]、流数据挖掘[6]、最大模式挖掘[7-8]，闭合模式挖掘[9]等。其中，WFIM是使用基于FP-tree结构的深度优先搜索（DFS）算法，需要2次扫描数据库，并通过计算每个项集的平均权重获得加权频繁项集。而WFP-SW算法采用广度优先的搜索方式仅需扫描一遍数据，在获得下层节点的同时剔除非加权频繁模式，极大地改善了内存的使用情况。 　　（2）效用模式挖掘[10 -11]，考虑到了项的权重和数量。效用模式挖掘根据不同的挖掘形式可进一步划分为增量效用模式挖掘[12]、流效用挖掘[13]和最大效用模式挖掘[14]等。 　　基于此，本文提出了一种基于滑动窗口的数据流加权频繁模式挖掘算法WFP-SW。该算法能够在数据流环境中仅用一次扫描来发现加权频繁模式。除了零售市场数据，算法还可以用于挖掘加权网络的遍历路径。众所皆知，不同的网站有不同的重要性，本算法可以发现网络遍历路径的加权频繁信息。此外，在生物医学和DNA数据分析领域[15]，不同的基因有不同的权重，通过