一种新的基于FP＿Growth的频繁项目集并行挖掘-南京师范大学学报.PDF

第３９卷第４期 南京师大学报(自然科学版) Ｖｏｌ３９ Ｎｏ４ ２０１６年１２月 ＪＯＵＲＮＡＬ ＯＦ ＮＡＮＪＩＮＧ ＮＯＲＭＡＬ ＵＮＩＶＥＲＳＩＴＹ(Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ Ｅｄｉｔｉｏｎ) Ｄｅｃꎬ２０１６ － ｄｏｉ:１０.３９６９/ ｊ.ｉｓｓｎ.１００１ ４６１６.２０１６.０４.００５ 一种新的基于 ＦＰ＿Ｇｒｏｗｔｈ的频繁项目集 并行挖掘算法 孙鸿艳ꎬ吉根林 (南京师范大学计算机科学与技术学院ꎬ江苏 南京 ２１００２３) [摘要]　 频繁项目集挖掘用于发现项目之间的关联规则. 为了高效求解面向大数据的频繁项目集ꎬ本文提出一 种新的基于ＦＰ＿Ｇｒｏｗｔｈ 的频繁项目集并行挖掘算法 ＮＰＦＰ＿Ｇｒｏｗｔｈ(Ｎｅｗ Ｐａｒａｌｌｅｌ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ＦＰ＿Ｇｒｏｗｔｈ)ꎬ 该算法对频繁模式树的存储结构进行改进ꎬ基于Ｍａｐ/ Ｒｅｄｕｃｅ并行计算模型ꎬ利用ＨＤＦＳ实现数据存储ꎬ在各自 计算节点上构造局部频繁模式树ꎬ求解该局部频繁模式树中每个分支的最长全局频繁项目集ꎻ对于全局非频繁 项目集ꎬ计算其支持数ꎬ发送至相应计算节点进行支持度统计ꎬ从而以较为简单的算法实现频繁项目集并行挖 掘. 实验表明ꎬＮＰＦＰ＿Ｇｒｏｗｔｈ算法具有较高的计算效率和良好的可伸缩性. [关键词]　 频繁项目集ꎬ关联规则ꎬＦＰ＿ＧｒｏｗｔｈꎬＨａｄｏｏｐꎬＭａｐ/ Ｒｅｄｕｃｅ － － － [中图分类号]ＴＰ３１１.１１　 [文献标志码]Ａ　 [文章编号]１００１ ４６１６(２０１６)０４ ００１９ ０６ Ｎｅｗ Ｐａｒａｌｌｅｌ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｍｉｎｉｎｇ Ｆｒｅｑｕｅｎｔ Ｉｔｅｍ Ｓｅｔｓ Ｂａｓｅｄ ｏｎ ＦＰ＿Ｇｒｏｗｔｈ Ｓｕｎ ＨｏｎｇｙａｎꎬＪｉ Ｇｅｎｌｉｎ (Ｓｃｈｏｏｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ ＴｅｃｈｎｏｌｏｇｙꎬＮａｎｊｉｎｇ Ｎｏｒｍａｌ ＵｎｉｖｅｒｓｉｔｙꎬＮａｎｊｉｎｇ２１００２３ꎬＣｈｉｎａ) Ａｂｓｔｒａｃｔ:Ｍｉｎｉｎｇ ｏｆ ｆｒｅｑｕｅｎｔ ｉｔｅｍ ｓｅｔｓ ｉｓ ｕｓｅｄ ｔｏ ｆｉｎｄ ｔｈｅ ａｓｓｏｃｉａｔｉｏｎ ｒｕｌｅｓ ｂｅｔｗｅｅｎ ｉｔｅｍｓ. Ｉｎ ｏｒｄｅｒ ｔｏ ｇｅｔ ｆｒｅｑｕｅｎｔ ｉｔｅｍ ｓｅｔｓ ｏｆ ｂｉｇ ｄａｔａ ｅｆｆｉｃｉｅｎｔｌｙꎬｔｈｉｓ ｐａｐｅｒ ｐｒｏｐｏｓｅｓ ａ ｎｅｗ ｐａｒａｌｌｅｌ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｍｉｎｉｎｇ ｆｒｅｑｕｅｎｔ ｉｔｅｍ ｓｅｔｓ ｂａｓｅｄ ｏｎ ＦＰ＿ Ｇｒｏｗｔｈꎬｎａｍｅｄ ＮＰＦＰ＿Ｇｒｏｗｔｈ(Ｎｅｗ ＰａｒａｌｌｅｌａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎＦＰ＿Ｇｒｏｗｔｈ).Ｔｈｅｓｔｏｒａｇｅｓｔｒｕｃｔｕｒｅｏｆｌｏｃａｌｆｒｅｑｕｅｎｔｐａｔ￣ ｔｅｒｎ ｔｒｅｅ ｉｓ ｉｍｐｒｏｖｅｄ ａｎｄ ｃｒｅａｔｅｄ ｉｎ ｅａｃｈ ｎｏｄｅ ｂａｓｅｄ ｏｎ ｐａｒａｌｌｅｌ ｃｏｍｐｕｔｉｎｇ ｍｏｄｅｌ Ｍａｐ/ Ｒｅｄｕｃｅ ａｎｄ ｄｉｓｔｒｉｂｕｔｅｄ ｓｔｏｒａｇｅ ｓｙｓｔｅｍ ＨＤＦＳꎬａｎｄ ｔｈｅｎ ｌｏｎｇｅｓｔ ｇｌｏｂａｌ ｆｒｅｑｕｅｎｔ ｉｔｅｍ ｓｅｔｓ ａｒｅ ｍｉｎｅｄ ｉｎ ｅａｃｈ ｂｒａｎｃｈ ｏｆ ｔｈｅ ｔｒｅｅ. ＦｉｎａｌｌｙꎬＳｕｐｐｏｒｔ ｆｏｒ ｉｔｅｍ ｓｅｔｓｗｈｉｃｈ ｄｏｅｓ ｎｏｔ ｍｅｅｔ ｇｌｏｂａｌ ｍｉｎｉｍｕｍ ｓｕｐｐｏｒｔ ｉｓ ｃｏｍｐｕｔｅｄ ａｎｄ ｔｈｅｎ ｓｅｎｔ ｔｏ ｃｏｒｒｅｓｐ