基于Hadoop云平台设计与实现.docVIP

基于Hadoop云平台设计与实现 　　摘 要：Hadoop是一个免费、可靠、高效、可扩展的开源云平台，允许在分布式集群上处理大数据的软件框架。本文以Hadoop为基础，详细介绍了虚拟机VMware、JDK、CentOS、Hadoop等技术。在伪分布式环境下搭建虚拟云平台，经过测试，本系统能正常运行MapReduce化的分布式程序，本文还针对用户权限、路径配置和使用SSH服务程序等问题进行了详细的阐述，为基于Hadoop的云平台研究和应用程序开发提供了基础。 　　关键词：Hadoop；MapReduce；云平台搭建 　　中图分类号：TP393 文献标识码：A 　　Abstract：Hadoop is a free， reliable， efficient and scalable open source cloud platform， which allows the software framework to deal with large data on a distributed cluster. Based on Hadoop， this paper introduces the technology of CentOS， JDK， Hadoop and VMware in virtual machine. Virtual cloud platform is built in the pseudo distributed environment. After testing， the system can run the MapReduce oriented distributed program. This paper also provides a basis for the research of the SSH based cloud platform and application program based on Hadoop. 　　Key words：Hadoop；MapReduce；Construct the cloud computing platform 　　0 引言 　　随着互联网时代信息与数据的飞速增长，科学、工程和商业等研究领域均需要处理大规模以及超大规模的数据， 对计算能力的需求已远远超出自身系统架构的承载运行限度。云计算是分布式计算、并行处理和网格计算的进一步发展，是基于互联网的计算，能够向各种互联网应用提供基础架构服务、硬件服务、软件服务、平台服务、存储服务，这就意味着计算可以作为一种商品实现流通，不仅使用方便，费用也相对低廉[1]。此外，由于传统并行编程模型应用的设计局限，客观上需要一种容易学习、使用和部署的编程框架，而Hadoop就是一个优秀的大数据处理框架，性能表现高效稳定，非常适合选择作为云计算的基础架构。 　　1相关技术介绍 　　Hadoop是一个可运行在大量低配硬件设备上的分布式计算框架，并且能为其中的应用程序提供可靠的接口，构建扩展性好、可靠性强、具有良好可移植性的分布式系统[2]。Hadoop云平台主要包括：HDFS分布式文件系统、MapReduce编程模型、HBase数据库和Zookeeper分布式应用程序协调服务。这刚好与Google核心技术GFS、MapReduce和BigTable类似。 　　1.1分布式文件系统HDFS 　　Hadoop分布式文件系统可以将信息存储在具有不同节点的设备中。具体由2部分组成，分别是：名称节点NameNode和数据节点DataNode，NameNode相当于管理者，全面管理集群内的DataNode，当用户发送请求信息后，NameNode会根据情况指定存储到哪些DataNode上，而并不存储真实的数据。原理工作流程如图1所示。 　　HDFS在执行读或写的过程中，NameNode和DataNode通过心跳信息保存通信，确定DataNode不是宕机。如果发现DataNode停止了工作，就将该DataNode上的数据备份到其他节点中，并读取该备份数据，这就是HDFS的容错机制[3]。 　　1.2 MapReduce 编程模型 　　MapReduce提供了一个并行处理大数据集的编程模型，由Map和Reduce这2个阶段组成。只需编写map 和reduce 2个函数，即可完成简单的分布式程序的计算。map函数以key/value 对作为输入，产生另外一系列key/value 对作为中间输出写入本地磁盘[4]。MapReduce框架会自动将这些中间数据按照键值进行聚集操作，并且键值相同（可设定聚集方法，默认是对键值进行哈希取模）的数据将统一交送reduce函数进行转换处理。reduce函数以key和其对应的value列表