改进基于频繁模式树最大频繁项集挖掘算法.docVIP

改进基于频繁模式树最大频繁项集挖掘算法 　　摘要 针对最大频繁项目集挖掘算法（DMFIA当候选项目集维数高而最大频繁项目集维数较低的情况下要产生大量的候选项目集的缺点，提出了一种改进的基于频繁模式树（FPtree结构的最大频繁项目集挖掘算法――FPMFIA。该算法根据FPtree的项目头表，采用自底向上的搜索策略逐层挖掘最大频繁项目集，从而加速每次对候选集计数的操作。在挖掘时根据每层的条件模式基产生维数较低的非频繁项目集，尽早对候选项目集进行剪枝和降维，可大量减少候选项目集的数量。同时在挖掘时充分利用最大频繁项集的性质，减少搜索空间。通过算法在不同支持度下挖掘时间的对比可知，算法FPMFIA在最小支持度较低的情况下时间效率是DMFIA以及基于降维的最大频繁模式挖掘算法（BDRFI的2倍以上，说明FPMFIA在候选集维数较高的时候优势明显。 　　关键词 最大频繁项集；频繁模式树；数据挖掘；关联规则；非频繁项集 　　中图分类号 TP311 　　0引言 　　Agrawal等[1]于1993年首次提出关联规则挖掘算法――Apriori算法。后来出现很多关联规则算法如基于哈希的直接哈希和剪枝（Direct Hashing and Pruning， DHP算法[2]、并行FPGrowth（Parallel FrequentPatterngrowth， PFP算法[3]和深度优先基于概念格的算法――DFTFH（DepthFirst Traversal Frequentpattern tree to Hasse[4]等，但随着现在社会信息化、数字化程度的提高，各行各业的数据规模在普遍增大，所挖掘出的频繁项集数量巨大分析困难。而最大频繁项集已经隐含了所有的频繁项集，可使挖掘出的频繁项集数量大大减少，因此更具有实用价值。所以最大频繁项集挖掘在关联规则挖掘中意义重大。 　　目前已有的最大频繁项集挖掘算法主要有FPMax[5]、PincerSearch[6]、最大频繁项目集挖掘算法（Discovering Maximum Frequent Itemsets Algorithm， DMFIA[7]等算法。FPMax算法是FPgrowth[8]算法的一种扩展，也是利用递归调用不断产生条件模式树的方法得到最大频繁项集，因此需要构建大量的条件模式树，消耗了巨大的时空资源。PincerSearch算法采用自底向上和自上而下的策略来挖掘最大频繁项集，但其第k次的最大频繁候选集（Maximum Frequent Candidate Set， MFCS是由k-1次的MFCS中的非频繁项目???去掉一个元素来生成的，产生了过多的无用候选项目集。DMFIA采用频繁模式树（FrequentPattern tree， FPtree作存储结构同时避免递归产生大量的条件模式树，有效提高了最大频繁项集的挖掘效率。但是对于数据项维数高且最大频繁项目集维数低的情况，DMFIA会产生过多冗余的候选集，严重影响了挖掘效率。近年来国内也有一些新的基于FPMax或DMFIA的改进算法，如：基于降维的最大频繁模式挖掘算法（algorithm for mining frequent itemsets based on dimensionality reduction of frequent itemset， BDRFI[9]、基于单向有序FPTree算法（not generating conditional FPtree to obtain MFS，NCFPMax[10]。BDRFI算法主要是改传统的FPtree为数字频繁模式树（Digital Frequent Pattern tree， DFPtree，提高了超集检验的效率，同时采用自下而上的搜索策略，但是在每层挖掘时仍然存在DMFIA算法中存在的问题。NCFPMax算法可以有效利用单向有序FPtree避免超集的检测，但是利用项目表格避免递归生成条件模式树时需要查找出所有的路径交集比较耗费时间。综合考虑上述算法的优缺点，提升最大频繁项集挖掘效率的关键点为：1避免递归生成大量条件模式树；2减少频繁候选集的数量，快速降维。为此本文提出了基于DMFIA的改进算法――基于FPtree的最大频繁项集挖掘算法（Algorithm for mining Maximum Frequent Itemsets based of FPtree， FPMFIA，FPMFIA采用自底向上的原则逐层挖掘最大频繁项集，并且在每层挖掘时通过产生的非频繁项集有针对性地对候选项集进行快速降维。实验结果表明FPMFIA可以有效提高最大频繁项集的挖掘效率。 　　1繁项目集和最大频繁项目集 　　设I={i1，i2，…，im}是m个不同项目的集合。给定事务数据库D，每