毕业设计（论文）：基于Hadoop的云计算研究与实现.docVIP

2011届 华北科技学院 本科毕业设计（论文） 设计(论文)题目： 基于Hadoop的云计算研究与实现 姓名： XXX 学号： 200707024115 专业班级： 网络B071 系（部、院）： 计算机系 指导老师： XXX 2015年6月20日  摘　　要 云计算是2007年底正式提出的一个新的概念，它可以说是一个革命性的创新，意味着计算能力也可以作为一种商品进行流通，就像煤气、水电一样，取用方便，费用低廉，不同之处只是在于它是使用互联网进行传输的。至今为止，Google、Microsoft、IBM、亚马逊等IT商业巨头都推出了自己的云计算平台，并把云计算作为其未来发展的最主要战略之一。因此，云计算的研究不但紧跟业界技术发展的趋势，同时还具有较高的应用价值。 Hadoop是一个在集群上运行大型数据库处理应用程序的开放式源代码框架。它是通过Google的MapReduce编程范例来创建并执行的应用程序，在很多大型网站上都已经得到了应用，可以说是目前最为广泛应用的开源云计算软件平台，但其发展时间较短，研究还不够深入，还有较多值得改进的地方。 Abstract As a new concept proposed in the end of 2007,cloud computing is a great revolution in the IT field．It means that computing call be used as a commodity, like coal gas or electricity．The only difference between them is that cloud computing transports by the computer networks．Up to nowGoogle、Microsoft、IBM、Amazon and some other famous cooperation have proposed their cloud computing application, and take cloud computing as one of the most important strategy in the future． Hadoop is an open rce code frame for very large data process application, which runs on a cluster of commercial PCs．It create parall program through Google`s MapReduce method and has already been used by many famous IT companies．Hadoop can be taken as the most popular open source could computing software，but there are many points to be improved since it is a young program． 目　　录 摘　　要 ii Abstract iii 第1章 绪　　论 3 1.1本文工作的来源 3 1.2目的和意义 3 1.3国内外进展 4 1.3.1国外进展 4 1.3.2国内进展 6 1.4本文工作的主要内容 7 第2章 云计算相关背景 9 2.1云计算概述 9 2.1.1云计算基本概念 9 2.1.2云计算的特点和优势 11 2.1.3云计算的典型应用 12 2.2云计算关键技术 14 2.2.1简单的编程模式 14 2.2.2数据存储和管理 15 2.2.3虚拟化技术 15 第3章 Hadoop平台研究 17 3.1概述 17 3.1.1 Hadoop概述 17 3.1.2 HDFS介绍 18 3.1.3MapReduce介绍 19 3.2 Hadoop构架以及原理 21 3.3 GFS 文件系统 23 3.3.1系统架构 23 3.4 Hadoop API 的使用 26 3.4.1 API 中的包 26 3.4.2MapReduce框架结构 26 第4章 基于Hadoop分布式运行程序 36 4.1搭建Hadoop环境 36 4.1.1装机阶段 36 4.1.2配置阶段 38 4.2 一个wordcount实例 40 4.2.1系统概述 40 4.2.2实现Map类 41 4.2.3实现 Reduce 类 42 4.2.4运行 Job 42 4.2.5设计与编码