改进的fp-growth算法及其分布式并行实现-哈尔滨理工大学学报.pdfVIP

21 2 Vol. 21 No. 2 第 卷 第 期 哈 尔 滨 理 工 大 学 学 报 2016 4 JOUＲNAL OF HAＲBIN UNIVEＲSITY OF SCIENCE AND TECHNOLOGY Apr． 2016 年 月 改进的FP-Growth 算法及其分布式并行实现 ， ， ， ， 马月坤 刘鹏飞 张振友 孙 燕 丁铁凡 ( ， 063000) 华北理工大学信息工程学院 河北唐山 : FP-Growth ， 摘 要 针对传统 算法在大规模数据环境下挖掘效率低下的问题 提出了一种改进 FP-Growth . 的 算法 该算法主要是通过基于频繁闭项集策略对完备模式树进行剪枝进而减小搜索 ， . FP-Growth 空间规模 达到提高算法挖掘效率的目的 并将改进后的 算法的分治策略与分布式计 Hadoop MapＲeduce ， . 算框架 的 编程模式有机结合 进一步提高了大数据环境下的挖掘效率 实验证 明， Hadoop FP-Growth FP-Growth . 基于 的改进 算法的效率较传统 算法有所提高 : ; FP-Growth ; ;MapＲeduce 关键词 分布式并行 改进 算法 剪枝 编程模式 DOI :10 ． 15938 /j ． jhust． 20 16 ． 02 ． 004 中图分类号:TP311. 1 文献标志码:A 文章编号:1007－ 2683 (20 16)02－ 0020－ 08 Improved FP-Growth Algorithm and Its Distributed Parallel Implementation MA Yue-kun ， LI U Peng -f ei ， ZHANG Zhen-you ， S UN Yan ， DING Tie-f an (School of Information ，North China University of Science and Technology ，Tangshan 063000 ，China) Abstract :The main problem solved in the research is that the traditional FP-Growth algorithm had a low effi- ciency and memory overflow under the big data enviro