基于MapReduce的隐私保护的关联规则挖掘算法的研究.docVIP

基于MapReduce的隐私保护的关联规则挖掘算法的研究 　　摘要：主要针对关联规则中的Apriori算法在执行过程中产生大量候选集和重复扫描数据库会使串行算法的时间复杂度高和执行率低的缺点，提出了一种基于MapReduce的并行关联规则挖掘算法，对传统的关联规则算法进行并行优化。在Hadoop平台上进行了单机测试和集群测试。分析得出基于MapReduce的关联规则算法克服了串行算法产生大量候选集和重复扫描数据库的两大缺点，从而提高了执行效率。此外，针对目前数据隐私泄露的严重现象，在进行并行化的数据挖掘之前，使用加随机数的方法来保护数据的隐私，并验证了保护数据在关联规则挖掘中保留了高可用性。 　　关键字：MapReduce；Apriori；Hadoop；隐私保护 　　中图分类号：TP391 文献标识码 A文章编号：2095-2163（2015）06- 　　Abstract：The main disadvantage of Apriori algorithm for association rule mining is that it produces large amounts of candidate sets and database scannings during execution， making the serial algorithm having high time complexity and low implementation rate. This paper proposes a new algorithm based on MapReduce，which optimizes the traditional association rule algorithm in a parallel way.Simulations based on the hadoop platform are performed on one single machine and clusters. The results demonstrate that our new algorithm based on MapReduce overcomes the disadvantage of the serial algorithm.What’s more， considering the serious phenomenon of data privacy leaking， the paper uses randomization to protect data privacy before they are mined， and shows the randomized data keep a high utiltity for association rule mining. 　　Keywords： MapReduce；Apriori；Hadoop；Privacy_Preserving 　　0 引言 　　随着各行各业的快速发展，大量的数据开始出现和累积。然而，如何从这些数据中，提取出所需要的有用信息，则已成为时下研究关注、且瞩目的一个焦点问题。作为一个分析工具，数据挖掘可以从大量数据集中发现有趣、有用的信息。现如今数据挖掘的技术已经开始用于商业用途，藉此提高商业价值。数据挖掘主要分为三大领域：分类分析、聚类分析和关联规则分析。尤其是，关联规则分析已经获得了数据挖掘中比较重要的领域地址，具体实现主要分为两步：发现频繁项目集和生成关联规则。关联规则中的一种基本算法就是Apriori算法。该算法在执行过程中会产生大量的候选集，并且还要多次重复扫描数据库。由此可知，随着数据的逐渐增加，有如Apriori这样的传统挖掘算法已经不能快速有效地分析获取有用的信息。基于以上背景所述，本文提出了一种新的基于MapReduce的并行关联规则的算法。此外，随着挖掘技术的不断进步，使得一些敏感、有用的信息相继公开，这就增加了原始数据的风险性。因此，基于隐私保护[1-2]的需求，本文即在数据挖掘前使用了添加随机数的方法，从而实现对数据隐私的保护。 　　1 国内外研究现状 　　现在国内外已经应用很多方法解决关联规则挖掘算法[3-6]。随着大量数据的产生，各种并行关联规则算法也随即陆续提出。例如：CD （Count Distribution） CaD（Candidate Distribution） and DD （Data Distribution）[7-8]，这些算法可以运用于云计算环境。但是算法却都具有缺乏同步性的缺点。 　　文献[9]针对Apriori算法产生大量候选项集的缺点，提出了一种频繁模式算法（FP），是一种不用生成候选