一种最大频繁模式快速挖掘算法.docVIP

一种最大频繁模式的快速挖掘算法 　　摘 要：挖掘最大频繁模式是多种数据挖掘应用中的关键问题。提出一种挖掘最大频繁模式的快速算法，该算法利用前缀树压缩存放数据，并通过调整前缀树中节点信息和节点链直接在前缀树上采用深度优先的策略进行挖掘，而不需要创建条件模式树，从而大大提高了挖掘效率。 　　关键词：最大频繁模式; FP??Tree; 前缀树; 数据挖掘 　　中图法分类号：TP311．12 文献标识码：A 文章编号：1001-3695(2006)10-0086-03 　　Fast Algorithm for Mining Maximum Frequent Patterns 　　WANG Yun??peng1,2, HU Xiu??lin??1, RUAN You??lin1,3 　　(1.Dept. of Eletronics Information, Huazhong University of Science Technology, Wuhan Hubei 430074, China; 2.Information Center of Jianghan Oilfield, China Petrochemical Corporation, Qianjiang Hubei 433124, China; 3.College of Information Engineering, Wuhan University of Technology, Wuhan Hubei 430070, China) 　　Abstract:Mining maximum frequent patterns is a key problem in data mining research. In this paper, a fast algorithm DMFP based on Prefix Tree for mining maximum frequent patterns is proposed. Prefix Tree stores information in a highly compact form. DMFP mines frequent patterns in depth??first order and directly in Prefix Tree by adjusting node information and node links without creating conditional pattern tree. Thus, it improves performance greatly. 　　Key words:Maximum Frequent Pattern; FP??Tree; Prefix??Tree; Data Mining 　　 　　频繁模式的挖掘是关联规则、序列分析等许多重要数据挖掘任务的关键步骤。在众多频繁模式的挖掘算法[1~8]中，以Agrawal等人提出的Apriori算法[1]最为著名。该类算法采用候选项集生成―筛选方法，必须耗费大量时间处理规模巨大的候选项集，多次扫描数据库对候选项集进行筛选。随后Han等人提出了FP??Tree和一种基于模式增长的挖掘算法FP??Growth[4]，该算法无需生成候选项集、只需两次扫描数据库，挖掘效率明显提高。然而，FP??Tree结构动态维护复杂，在挖掘过程中需要递归地创建大量的条件模式树。特别是在支持度阈值较小或存在长模式时，即使对于不太大的数据，也会产生数以万计的条件FP??Tree。动态地创建数以万计的条件FP??Tree将消耗大量的时间和空间。因而FP??Growth算法的时空效率不高。 　　由于最大频繁模式已经隐含了所有频繁模式，所以可把发现频繁模式的问题转换为发现最大频繁模式的问题。另外，某些数据挖掘应用仅需发现最大频繁模式，而不必发现所有的频繁模式，因而发现最大频繁模式对数据挖掘具有重大意义。目前已经提出的可用于发现最大频繁模式的算法有Max??Miner[8]，Pincer??Search[9]及DMFI[10]等。这些算法均是基于Apriori算法或FP??Tree，因而不可避免地存在上述缺陷。 　　为此，本文提出一种基于前缀树的挖掘最大频繁模式的新算法DMFP。该算法通过调整前缀树中相关节点信息和节点链直接在前缀树上采用深度优先的策略挖掘，而不需要创建大量条件模式树，从而大大提高了挖掘效率。 　　 　　1 相关概念 　　 　　1．1 最大频繁模式 　　设I={i??1,i??2,…,i??m}是m个不同项目的集合。给定事务数据库DB,对于项目集X??I, X在DB中的支持数是指DB中包含X的事务数,记为X.count。X