基于Hadoop英语辅助教学云平台构建.docVIP

基于Hadoop英语辅助教学云平台构建 　　摘 要： 目前传统网络英语教学方法互动性不足，无法同时满足学生不同的英语学习需求，传统网络英语教学平台采用的是单服务器模式，无法负荷大量学生对教学资源的同时访问。本文通过使用Hadoop平台软件，通过对该平台软件的配置，实现英语辅助教学云平台的搭建，在所搭建的辅助教学云平台中添加优质的英语教学资源，实现大量学生同时访问，有效提高学生的学习兴趣与自主学习能力。 　　关键词： Hadoop 云计算 英语辅助教学云平台 　　云计算是传统的分布式计算技术与网络技术共同发展融合而成的产物，具有高度可靠性、通用性、可扩展性及成本低廉等诸多优势。因此，云计算经过近几年的快速发展，已经被广泛应用于各行各业。目前有很多开源的云计算平台软件：Hadoop、Eucalyptus、Enomalism、MongoDB等。其中Hadoop是当前应用最为广泛的云计算平台之一，该平台基于Google的MapReduce的编程模型包发展而成，现已迅速发展成为大数据分析的领先平台。在英语教学方面，由于涉及听说读写等多个模块，每个学生针对不同的模块有不同的侧重点。如果采用传统课堂教学方式，将无法满足学生对英语教学中各技能的训练需求，不能有效提高学生的学习积极性。同时，英语教学涉及的学生人数众多，英语教学资源多为视频、音频等资源，传统辅助教学平台无法负荷大量学生同时对以上资源的访问。因此，在本项目中采用Hadoop构建英语辅助教学云平台，通过在所构建的辅助教学云平台中添加优质的英语教学资源，增加师生互动的网络英语版块，提高学生的学习兴趣与自主学习能力。 　　1.Hadoop平台的系统架构 　　Hadoop是一款开源的云计算平台软件，由Apache基金会所开发，由于其具有扩展性强、成本低、可靠性高等优点，目前被广泛应用于各领域。Hadoop主要由三部分构成：Map/Reduce分布式计算框架、分布式文件系统HDFS（Hadoop Distributed File System）和分布式数据存储HBase（Hadoop Database）。Hadoop能够在低端的硬件平台上搭建云计算环境的基础服务与接口API。同时由于Hadoop采用Java进行开发，因此能够兼容多种操作系统，移植性较高。 　　1.1Map/Reduce分布式计算框架。云计算的核心技术为分布式并行计算，Map/Reduce分布式计算框架是Hadoop平台的分布式编程模式。其具体的工作流程如下所示： 　　Step1：将需要运行的程序调用Map/Reduce分布式计算框架，把输入的数据分割成与Map主机数目相同的n个部分数据块，并将划分好的数据块分配给所有Map主机； 　　Step2：由Master主机对任务进行分配，将Map任务分发给Slave主机进行分布式并行计算，最后由Reduce主机对Slave主机所得出的计算结果进行合并。 　　Step3：每一台被分配了Map任务的Slave主机计算出一组键值对〈key，value〉，所有这些键值对为当前任务的中间结果。 　　Step4：将Slave主机计算出来的中间结果送入Reduce主机中进行结果的整理与合并，得出当前任务的最终结果。 　　从以上Map/Reduce分布式计算框架的工作流程可以看出，该计算框架的两个核心步骤为任务映射Map结果整合Reduce，通过调用Hadoop云计算平台中的映射函数（Map）与整合函数（Reduce），实现Map/Reduce的核心功能。 　　1.2分布式文件系统HDFS。HDFS系统采用的是Master/Slave架构，该架构由命名节点（NameNode）、数据节点（DataNode）和客户端（Client）构成。其中命名节点是分布式文件系统的核心部分，主要用于控制客户端对文件系统的管理与访问。当使用Hadoop平台实现基于的云计算管理平台时，在命名节点的统一调度下对数据进行分块、删除及复制等操作。数据节点则主要负责数据的存储，同时HDFS为每一个数据块创建多个副本，确保数据的高度可靠性。 　　1.3分布式数据存储HBase。HBase在分布式文件系统HDFS之上实现一种非结构化数据存储的数据库，该数据库中的数据不像传统的数据库表中存在大量的关联关系，HBase中存储的数据为松散数据，在该数据库中，每一个数据行都具有一个可供选择的键与不限定数量的列。在该数据库中创建的表可以根据需要为每一行定义不同列的属性，具有很强的灵活性，对于一个复杂的数据库项目具有很好的实用性，能够极大地简化数据库设计与升级的成本开销。同时分布式计算框架Map/Reduce为HBase提供了强大的计算能力，使之实现高速的数据检索。 　　2.英语辅助教学云平台的系统框架 　　为了