基于HADOOP的数据挖掘研究-软件工程专业论文.docxVIP

重庆大学硕士学位论文中文摘要 重庆大学硕士学位论文 中文摘要 I I 摘 要 随着计算机技术以及互联网运用高速的扩展到人类社会生产生活的各个方面， 数据量呈现出爆发性的增长。如今，大数据集以及超大数据集的存储和处理已成 为很多企业面临的新的挑战。而如何能以更加快速、高效、低成本的方式从海量 数据中挖掘有价值的、可理解的知识从而帮助企业制定决策成为数据挖掘技术面 临的新课题。 云计算技术的出现为数据挖掘技术的发展带来了新的机遇。云计算技术通过使 存储和计算能力均匀的分布到集群中的多个存储和计算节点上，从而实现了对超 大数据集的巨大的存储和计算能力。由于可以使用大量的廉价计算机通过集群来 代替价格高昂的服务器，云计算大大的降低了成本。使用云计算技术提供的巨大 的存储能力和计算能力，数据挖掘技术进入了基于云计算的数据挖掘时代。 HADOOP 是一个用于构建云平台的 Apache 开源项目。使用 HADOOP 框架有 利于我们方便、快速的实现计算机集群。在 HADOOP 平台上，采用了 HDFS(分布 式文件系统)来实现超大文件的存储和容错，而使用了 MapReduce 的编程模式来进 行计算。将 HADOOP 运用到数据挖掘，一个关键的问题就是如何实现将传统的数 据挖掘算法实行并行化。对于传统的数据挖掘算法，结合算法自身的特点，我们 可以很容易或者需要深入研究才能发现它是否能够并行。对于能够并行实现的算 法，结合 MapReduce 编程模式，我们可以将其移植到 HADOOP 平台上，高效的、 并行的完成数据挖掘任务。 本文首先详细的介绍了云计算和 HADOOP 平台的核心架构以及运行机制。然 后结合传统的数据挖掘系统提出了基于 HADOOP 的数据挖掘平台的技术架构。所 以，在深入了解到 MapReduce 编程模式后，结合决策树算法中的 SPRINT 算法， 我们成功的实现了将 SPRINT 移植到 HADOOP 平台。在给出详细的算法后，我们 通过实验验证了算法的有效性。 关键词：云计算，数据挖掘，SPRINT，HADOOP，并行计算 重庆大学硕士学位论文英文摘要 重庆大学硕士学位论文 英文摘要 II II ABSTRACT With the use of computer and Internet technology expansion of many aspects of human society, data shows explosive growth. Now, the process and storage of large data sets has become the new challenge of enterprises. How to mine valuable and understandable knowledge from the massive data in a more rapid, efficient, low-cost way, to help company make decisions is a challenges of Data mining. The emergence of Cloud computing bring new opportunities for data mining technology. Cloud computing distribute the ability of storage and computing among multiple nodes in cloud cluster. So it enabling huge data set storage and computing power. Because you can use a lot of cheap computers for cluster instead of by the high price of the server, cloud computing greatly reduced costs. Together with Cloud computing technology which can provide the large storage capacity and computing power, data mining technology go into the cloud-based data mining era. HADOOP is an open source project of Apache for building cloud platform. HADOOP framework will help us implementation of cl