基于项编码的分布式频繁项集挖掘算法.PDF

第３６卷第４期 计 算 机 应 用 研 究 Ｖｏｌ３６Ｎｏ４ ２０１９年４月　 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ａｐｒ．２０１９ 基于项编码的分布式频繁项集挖掘算法 郑静益，邓晓衡 （中南大学软件学院，长沙４１００７５） 摘　要：Ａｐｒｉｏｒｉ算法是解决频繁项集挖掘最常用的算法之一，但多轮迭代扫描完整数据集的计算方式，严重影 响算法效率且难以并行化处理。随着数据规模的持续增大，这一问题日益严重。针对这一问题，提出了一种基 于项编码和Ｓｐａｒｋ计算框架的Ａｐｒｉｏｒｉ并行化处理方法———ＩＥＢＤＡ算法，利用项编码完整保存项集信息，在不重 复扫描完整数据集的情况下完成频繁项集挖掘，同时利用Ｓｐａｒｋ的广播变量实现并行化处理。与其他分布式 Ａｐｒｉｏｒｉ算法在不同规模的数据集上进行性能比较，发现ＩＥＢＤＡ算法从第一轮迭代后加速效果明显。结果表