基于FP―Tree最大频繁项目集挖掘算法.docVIP

基于FP―Tree最大频繁项目集挖掘算法 　　摘要：挖掘最大频繁项目集是关联规则挖掘中的关键问题，基于Apriori产生候选项目集需要付出很高的代价，尤其是在存在大量强模式或长模式的时候.提出一种基于频繁模式树（FP-Tree）的最大频繁项目集挖掘算MFIP-Miner（maximum frequent itemsets pattern mmer），其挖掘过程无需产生候选项集，从而提高挖掘效率。 　　关键词：数据挖掘；最大频繁项集；关联规则；频繁模式树 　　中图分类号：TP311 　　文献标识码：A 　　DOI：10.3969/j.issn.1003-6970.2015.12.023 　　本文著录格式：陈向华，刘可昂.基于FP-Tree的最大频繁项目集挖掘算法[J]软件，2015，36（12）：98-102 　　0 引言 　　关联规则数据挖掘（简称关联规则挖掘）就是从大量的数据中挖掘出有价值的描述数据项之间相互联系的有关知识。自1993年Agrawal等人首先提出关联规则概念以来，关联规则挖掘便迅速受到数据挖掘域专家的广泛关注。在迄今十几年中，关联规则挖掘技术得到了较为深入的发展。其中发现频繁项目集是关联规则挖据应用中的关键技术和步骤。对于频繁项集挖掘，已经开发了许多有效的、可伸缩的算法，由它们可以导出关联和相关规则。这些算法可以分成三类：（1）类Apriori算法；（2）基于频繁模式增长的算法，如FP-growth；（3）使用垂数据格式的算法。在如上所述的诸多算法中，计算项目集的支持数是发现频繁项目集中最耗时的工作，占据整个计算量的大部分，因此，降低候选项目集的数量是减小开销的最好手段。 　　由于最大频繁项目集中已经隐含了所有频繁项目集，所以可把发现频繁项目集的问题转化为发现最大频繁项目集的问题.另外，某些数据挖掘应用仅需发现最大频繁项目集，而不必发现所有的频繁项目集，因而发现最大频繁项目集对数据挖掘具有重大意义。 　　目前已经提出的可用于发现最大频繁项目集的算法主要有Gunopulos等人提出算法ALL-MFS，Bayardo等人提出的算法Max-Miner，Lin等人提出的算法Pincer-Search，以及Burdick等人提出的算法Mafia，路松峰等人提出的算法DMFI，宋余庆等人提出的算法DMFIA等。上文阐述的这些算法都能有效地挖掘出事务数据库D中的最大频繁项目集，然而它们也存在不足之处。比如：Max-Miner虽然突破了传统的白底向上的搜索策略，尽可能早地对项目集进行修剪，但其存在的缺陷是：1）未利用白顶向下的信息进行剪枝；2）未对MFCS进行适当的排序，产生了多余的候选项目集；Pincer-Search虽然采用了白底向上和白顶向下的双向搜索策略，但其在发现最大频繁项目集的过程中产生了过多的无用候选项目集，对海量数据库来讲，将陷入NP难度的陷阱；DMFIA算法通过对D的两次扫描，把其中的所有事务压缩存储到FP-Tree中，这样在以后发现最大频繁项目集的过程中仅需在FP-Tree中进行查找，无需再扫描D，所以该算法的效率相对于Max-Miner、Pincer-Search有显著的提高，但它没有充分利用FP-Tree的特点，且其第k次的最大频繁候选集是由k-l次的最大频繁候选集中的非频繁项目集去掉一个项目来生成，所以也产生了大量的无用候选项目集；Mafia算法虽然利用垂直位图来压缩存储数据库中的事务，并且在挖掘过程中也采用了有效的剪枝技术，但其仍然要维护一个数量较大的候选项目集的集合，这降低了算法的整体性能。本文提出一种基于频繁模式树（FP-Tree）的最大频繁项目集挖掘算法MFIP-Miner（maximum frequent itemsets pattemminer），其挖掘过程无需产生候选项集，从而提高挖掘效率。 　　1 问题描述 　　显然，任何频繁项目集都是某最大频繁项目集的子集，所以可以把发现所有频繁项目集的问题转化为发现所有最大频繁项目集的问题. 　　1.2 频繁模式树 　　在Han等人定义的频繁模式树FP-Tree中，每个节点由节点名称node-name、节点计数node-count、节点链 node-link及父节点指针node-parent四部分组成。另外，为了方便树的遍历，创建一个频繁项目头表Htable，它包含两个组成部分：项目名称item-name和项目链头item-head。FP-Tree的构造算法如下： 　　（1）扫描D一次，产生频繁项目集合F及其支持数，并按支持数降序排列F生成频繁项目列表IDF； 　　2 挖掘最大频繁项集的算法MFIP-Miner 　　2.1 基本性质 　　性质1.在FP-Tree中，若某节点计数不小于s（s见定义1），则该节点