频繁模式增长算法fp-growth的优化研究-optimization of fp - growth algorithm for frequent pattern growth.docxVIP

摘要长期以来，挖掘频繁模式主要采用 Apriori 算法及其改进形式，这类算法需要产 生大量候选项集，并反复扫描数据库，降低了挖掘的效率。FP-growth 算法是一种基 于模式增长的频繁模式挖掘算法，避免了大量候选项集的产生，只需扫描数据库两次。 效率比 Apriori 算法快一个数量级。然而，此算法在挖掘频繁模式时不可避免地需要 递归地创建附加数据结构(如条件 FP-tree，项头表)，并且每当模式增长时就要创建 一次。动态地创建如此大量的附加数据结构，将耗费大量时间和空间。本文提出了 FP-growth 算法的一种优化方法：基于升序 FP-tree 的挖掘算法 SAFP-merge。其通过采用基于支持度计数升序排列的频繁 1-项集的构造策略，和引 入第一棵子树及扩展频繁集等概念，使整个挖掘过程直接在初始生成的升序 FP-tree 中进行，而不需要另外递归创建条件 FP-tree 和项头表。挖掘时，首先挖掘第一棵子 树；然后将第一棵子树根结点的所有分支与升序 FP-tree 的其他分支归并，并同时剪 掉第一棵子树；最后对新的升序 FP-tree 递归调用挖掘过程，直到树只有一棵子树， 且已经挖掘完该子树。为了验证 SAFP-merge 算法的性能，我们在一定的实验条件下 对优化算法 SAFP-merge 和 FP-growth 算法进行了测试，实验结果表明：使用相同的 稀疏数据集，优化算法速度是 FP-growth 算法的 3 倍， 而所需要的存储空间比 FP-growth 算法节省了 1/3；对于稠密数据集，优化算法的优势更加显著。目前数据挖掘技术在国外应用非常广泛，但是国内在这方面的发展相对缓慢。作 者在对本文提出和研究的各种算法进行比较和测试，这些工作也只是对数据挖掘中关 联规则的相关算法进行的较为深入的研究，在今后的工作中将更加深化和具体地分析 和研究。关键词：频繁模式；升序 FP-tree；扩展频繁集；SAFP-merge 算法AbstractFor a long time, a category of Apriori-like algorithms has been adopted for mining frequent patterns. But they suffer from taking many scans of databases for huge number of candidate patterns occurrence frequencies checking. FP-Growth algorithm mines the frequent patterns base on the pattern growth without candidate patterns generation, and only scans database twice. It is about an order of magnitude faster than the Apriori algorithm. However, it still encounters performance bottleneck which is creating additional data structure (such as conditional FP-trees, Header Table, etc) recursively during the process of mining frequent patterns. And it must create the additional data structure one time whenever the pattern grows. It will spend huge processing time and memory space for creating so much additional data structure dynamically.We propose an improved algorithm of FP-growth, namely SAFP-merge, which mines frequent patterns based on sort ascending FP-tree. The SAFP-merge algorithm uses the construction strategy basing on the set of frequent patterns of length 1 which is sorted ascending by the support threshold. And it introduces the conce