基于Hadoop实验平台构建.docVIP

基于Hadoop实验平台构建 　　摘要：本文就基于Hadoop的实验教学平台的构建，对于多学科的科研和教学所具有的重要意义做了详细阐述。文中还详细描述了基于 Hadoop 的分布式云计算实验教学平台的构建过程，具体包括硬件安装、开发环境的搭建、Hadoop 的安装与部署，对于实验平台建设具有较好的指导作用。 　　关键词： Hadoop 云计算 实验教学平台构建 　　中图分类号：G482 文献标识码：A 文章编号：1007-9416（2014）10-0055-02 　　1 引言 　　云计算（Clound Computing）是一种新兴的商业模型，它将大量的计算任务以某种算法分布在以大量计算机构成的资源池上，使用户能够最大限度的获取计算、存储空间和信息处理的能力。 　　在高校教育信息化建设方面，合理的将云计算技术运用到实验教学中去，尝试为信息化的实验硬件环境构建、软件资源开发、网络教学实施等提供新的模式。通过以上尝试，达到提高实验室设备的使用效率、节约软硬件的采购成本、促进信息共享的目的。 　　Hadoop是一个由通用计算设备组成，多设备上执行的分布式应用框架。它良好的性能和丰富的功能，为云计算的使用提供了较好的平台系统。国内外多个著名的互联网公司，如Yahoo、FaceBook、Google、淘宝、百度等，都广泛应用了Hadoop技术。Hadoop可以在通用硬件上运行，不需要专门购置昂贵的高性能计算机。在实验室建设中，完全可以利用 Hadoop 将实验室中数量众多的、分散或者闲置的计算机资源利用起来，组建一个高性能的计算平台，投入到日常的实验教学中去。 　　2 开源分布式计算框架Hadoop 　　Hadoop具体来讲是由Apache开源组织的一个分布式计算框架，它可以在大量由普通硬件设备组成的一般集群上，运行应用程序和处理数据。Hadoop为应用程序提供一组可靠的接口的同时，构建出一个稳定以及具有良好扩展性的分布式系统。Hadoop的主要优点有：高效、可靠、稳定、成本低、容易扩展、开源免费、良好的可移植性。Hadoop集群是典型的主/从（Master/Slaves）结构，主节点（NameNode）与主程序（JobTracker）为Master，子节点（DataNodes）与子程序（TaskTrackers）为Slaves。Hadoop包含分布式文件系统（HDFS）和计算模型（MapReduce）两个核心的子项目。 　　2.1 HDFS 　　一个HDFS集群是一个NameNode与多个DataNode组成。其中NameNode相当于服务器，集中管理名字空间（NameSpace）以及多个客户端对数据文件的各种访问。DataNode负责处理它自身所在结点的各种数据，以及建立数据之间直接的通信。 　　2.2 MapReduce 　　MapReduce是高效的分布式计算模型，基于它写出来的程序能够运行在大型集群上，实现大规模的数据集处理。MapReduce通常会被待处理的数据集分成若干独立的数据块，再由Map任务并行的处理，结果输入给Reduce。JobTracker 负责整个MapReduce的控制工作，创建子节点的重属任务TaskTrackers。 　　3 基于Hadoop的实验教学平台的构建部署 　　3.1 基于Hadoop的云计算辅助教学 　　“云计算辅助教学”（Clouds Computing Assisted Instruction，CCAI）是指学校选择利用云计算技术，构建个性化教学和科研的信息化环境，支持教师的教学和学生的学习，促进学生高级思维能力和群体智慧发展，提高学校教育质量。 　　高等院校可以以自身需要为基础，选择私有云技术，开发云计算辅助教学的相关实验平台。Hadoop作为著名的云计算开源项目，通过云计算技术形成一个庞大的信息计算资源平台，使得需要处理的各种资源能够快速合理地部署、配置、处理，最后返回给需求。Hadoop平台可以实时根据用户的需求信息量，灵活地调整处理系统的规模，利用积少成多的效应形成强大的系统聚合服务能力。这种服务能力，可以为用户需求提供高性能和低成本的计算支持、海量数据存储和处理支持。搭建Hadoop平台，运用云计算开发实验平台在现有条件下，是以最小成本建设高性能实验教学平台的较好途径，对于推动相关课程的教学和科研活动具有重要的现实意义。 　　3.2 安装环境 　　3.2.1 硬件环境 　　Hadoop实验教学平台对于硬件要求总体不高，可直接在通用硬件的基础上构建。一般将实验室中利用率不高的计算机集中起来到服务器房中，用集线器等设备连接成一个普通的局域网。这里采用5台常规的计算机作为实验案例，鉴于 Hadoop的可扩展性， 可以根据需要添加新的计算机节点