基于云平台并行关联规则挖掘算法分析.docVIP

基于云平台并行关联规则挖掘算法分析 　　摘 要： 自云计算技术出现之后，数据挖掘技术取得了突破性发展。数据挖掘系统不仅实现了低成本、高效率运行，并且系统储存空间和系统可扩展性也在不断扩大，大大提高了数据挖掘效率。这里简要阐述了基于云平台的并行关联规则挖掘算法分析的研究意义，并对基于Hadoop的数据挖掘系统和数据算法设计进行了详细介绍。 　　关键词： 数据挖掘； 关联规则； 云平台； Hadoop 　　中图分类号： TN702?34； TP391 文献标识码： A 文章编号： 1004?373X（2015）11?0123?03 　　Analysis of parallel association rule mining algorithm based on cloud platform 　　MU Jun 　　（Department of Information Science and Technology， Lincang Teachers’ College， Lincang 677000， China） 　　Abstract： A breakthrough development of data mining technologies was acquired after cloud computing technology appeared. The data mining system realizes the operation of low cost and high efficiency， and expands system’s storage space and scalability gradually， so data mining efficiency is improved greatly. In this paper， research significance of parallel association rule mining algorithm based on cloud platform is expounded briefly， data mining system and data algorithm design based on Hadoop are introduced in detail. 　　Keywords： data mining； association rule； cloud platform； Hadoop 　　随着计算机网络技术、信息技术以及无线通信技术在各个领域和各个行业中的应用，数据库也得到了广泛应用，并且其所积累的数据量也越来越大，几乎都达到了TB级，甚至，有一些数据量已经达到了PB级。由于这些数据都相对比较复杂，属于异构结构，并且这些数据大多有噪声，数据量巨大，所以很难被直接利用。因此，通过高效率、低成本的挖掘方式将有用的数据信息从这些数据中挖掘出来进行有效利用，成为当前数据挖掘技术领域最为重要的研究课题。一直以来，虽然相关研究人员都致力于对这些数据挖掘技术的研究，但是由于受到科学技术以及自身技术水平等方面因素的限制，一直没有研究出有效的解决方案，而云计算的出现，则为数据挖掘技术的研究带来了突破。本文对基于云平台的并行关联规则挖掘算法进行详细分析，为进一步提升数据挖掘技术水平提供科学有效的参考依据。 　　1 数据挖掘 　　数据挖掘也被称为是数据库中的知识发现（Knowledge Discovery in Databases，KDD），主要指的是从大量的、有噪声的、异构的和复杂的海量数据中挖掘出有利用价值的信息或者是知识，然后对这些信息或者是知识进行整理和分析的过程[1]。一直以来，在对数据信息和知识进行挖掘的过程中，所采用的都是依靠大规模计算机和数据挖掘设备对海量数据中的有效信息和知识进行挖掘和分析，这种数据挖掘方式，虽然也能够对数据信息和知识进行有效挖掘和分析，但是这种数据挖掘方法比较繁琐，过程比较复杂，并且成本也比较大，不利于普及应用。而基于云平台的并行关联规则挖掘技术，则为数据挖掘技术的提升带来了新的解决方案，通过计算机网络技术、信息技术以及无线网络通信技术的结合，实现了数据挖掘和计算的虚拟化[2?3]。与传统数据挖掘和计算技术相比，基于云平台的云计算技术具有更加强大的计算能力和更加庞大的储存空间，并且由于实现了数据挖掘和计算的虚拟化，其运行成本更低，灵活性更强。可以说，云计算的出现，实现了海量数据挖掘和计算的改革创新，使企业能够利用更低的成本获取更加有价值的数据信息，这对于提升企业决策的合理性和科学性，进一步提升企业的经济效益，推动企业更好、更快发展具有极为重要的影响作用。 　　对于任何一个企业来说，如果能够从海量数据中挖