利用教学资源搭建开源云平台.docVIP

利用教学资源搭建开源云平台 　　摘要：随着云计算的日趋流行和成熟，企事业单位对云计算的需求越来越多。该文将介绍利用已有学校教学资源和开源云计算平台Hadoop搭建学校云计算环境。 　　关键词：Hadoop；云计算；开源 　　中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2015）29-0114-03 　　Use of Teaching Resources to Build Open Source Cloud Platform 　　LIU Yi 　　（Guizhou Institute of Technology and Engineering， Guiyang 550001，China） 　　Abstract： With the increasing popularity of cloud computing and maturity， the demand for cloud computing units of enterprises and institutions is increasing. This article will introduce the use of existing school teaching resources and open source cloud computing platform to build the school cloud computing environment Hadoop. 　　Key words： Hadoop； cloud computing； open source 　　信息化发展的今天，普通学校拥有大量的计算机资源，而这些资源除了应对教学任务，大部分时候被闲置。另外由于计算机的更新换代造成学校不断重新购置新计算机。这些都是对计算资源的极大浪费，如何充分利用这些资源呢，可以使用开源的云计算平台Hadoop把这些计算能力相对较弱的计算机组成为一台超级计算机（云计算平台）。下面就如何建立学校开源云计算平台做简要分析： 　　1 Hadoop简介 　　Hadoop 是一个用Java语言设计的开放源码框架，一般用来进行大规模及超大规模的数据处理。它借鉴了goole公司的Google Labs开发的 MapReduce和 Global File System （GFS） 技术，由于具有高效、可靠和可伸缩的优点，它越来越流行了。Hadoop 现在是顶级 Apache项目，IBM、Google、Yahoo！和Facebook等许多公司都支持和使用Hadoop，事实上它已经成为大规模数据处理方面事实上的行业标准框架。他拥有灵活性、可扩展、高吞吐量、低成本、高效率、高可靠性等特点。 　　2 搭建环境 　　2.1 硬件环境 　　本文搭建时使用本校学生用机，所以参数为学校计算机的配置，hadoop云计算平台对计算机要求很低，只要能运行Linux系统，都可以搭建。本文环境为：集群环境为8个节点组成，节点间由千兆网交换机互联，所有节点计算能力相同，每个节点内存8g，cpu使用intel双核cpu（2.8G），硬盘500G。 　　2.2 软件环境 　　操作系统：RHEL5.2。JDK版本：1.6_19，Hadoop版本：Hadoop0.20.2，8 　　在搭建时需注意：节点中用一节点作为JobTracker，其余节点用作TaskTracker，JobTracker节点也是本集群的NameNode节点。 　　3 搭建步骤 　　由于Linux系统的安装比较简单，本位省略了RHEL5在计算机上的安装，平台搭建步骤如下： 　　1）每台主机配置IP地址，并修改每台主机配置文件/etc/hosts如下： 　　其中hadoop1是Name Node节点，也是JobTracker节点。 　　2）创建ssh密钥 　　在Hadoop启动以后，Name node将使用SSH（Secure Shell）来启动和停止各个节点上的各种守护进程的，这就需要Name Node节点在不输入用户名和密码的方式登录各个节点。首先要保证每个节点都安装了OpenSSH软件。步骤如下： 　　① 在NameNode节点上生成密钥对： 　　[root@hadoop1 ～]# ssh-keygen -t rsa 　　这个命令将为 hadoop1上的当前用户 root 生成其密钥对，密钥对的保存路径使用缺省的 /root/.ssh/id_rsa，注意： 要求输入passphrase 的时候，直接回车。这样生成的证书以及公钥将存储在 /root/.ssh 目录，形成两个文件 id_rsa，id_rsa.pub。 　　② 将 id_rsa.pub文件的内容复制到每