大数据背景下高职Hadoop课程内容体系建设.docVIP

大数据背景下高职Hadoop课程内容体系建设 　　摘要：大数据技术的发展对人才的需求发生了变化，提出高职计算机相关专业增加Hadoop课程作为教学内容，调整人才培养计划，以满足大数据技术岗位的要求。文中分析了Hadoop的架构，并给出了Hadoop教学平台的实施方案和具体的课程教学内容，促进教学改革的实施。 　　关键词：大数据；高职；计算机；Hadoop课程；教学改革 　　中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2016）30-0131-02 　　1引言 　　近年来，随着数据的极速膨胀，大数据技术研究越来越深入，并且得到了广泛的应用。因此，为了适应大数据发展的要求，Apache基金会开发了一个分布式系统架构――Hadoop，已成为广泛应用的大数据运算平台。同时，高职院校应调整相关专业的培训计划，增加Hadoop课程教学，调整培养目标，以满足大数据技术发展的人才需求。具体的培养目标是：培养具有计算机网络、大数据及云计算的专业知识，实践能力强、职业道德素养高，具备云平台的管理能力和网络软件开发能力，能够从事网络工程设计实施、网络高级管理维护、网络开发、云平台组建及管理以及大数据存储、计算及分析等岗位的高级技能型人才。 　　2 Hadoop架构 　　如图1所示，Hadoop的核心设计就是：HDFS文件系统和MapReduce编程模型。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。用户可以基于Hadoop开发分布式程序，并且使用集群计算机的能力实现数据的分布式并行处理，实现充分利用集群的威力进行高速运算和存储。 　　1）Hadoop节点 　　Hadoop主要包括MasterNode主节点和SlaveNode从节点。 　　MasterNode主要运行NameNode名称节点和Job Tracker任务追踪，前者主要负责数据存储（HDFS）的调度，后者负责数据并行处理（Map-Reduce）的调度。它们主要运行在管理端服务器上。 　　SlaveNode主要运行DataNode数据节点和Task Tracker??例追踪，它的运行需要大量计算机的支持，完成具体的分布式数据存储以及运行计算。每个SlaveNode都运行DataNode和Task Tracker，Task tracker由Job Tracker管理，DataNode由NameNode管理。 　　2）Hadoop数据流 　　在Hadoop中，每个MapReduce任务都被初始化为一个Job，每个Job又可以分为两种阶段：map阶段和reduce阶段。这两个阶段分别用两个函数表示，即map函数和reduce函数。map函数接收一个形式的输入，然后同样产生一个形式的中间输出，Hadoop函数接收一个如形式的输入，然后对这个value集合进行处理，每个reduce产生0或1个输出，reduce的输出也是形式的。 　　3）Hadoop生态系统 　　如图2所示，随着Hadoop研究的深入，其它围绕Hadoop的开源项目也在发展，比例HBase、Hive、Pig、Zookeeper等构建了Hadoop生态系统，它们隶属于不同的项目组，提供了更完整的大数据处理方案。其中，生态系统的核心仍是HDFS和MapReduce。 　　3 Hadoop课程教学实施 　　3.1 Hadoop教学平台 　　1）拓扑结构 　　现有计算机实验室大多已构建成局域网，因此可以基于现有实验室计算机和交换机，完成Hadoop教学平台的构建。 　　2）系统要求 　　MasterNode主节点服务器需要较高的运算能力，因此要求使用较快的CPU和较大的内存，其他节点使用原有配置。所有计算机采用Linux Ubuntu 64位网络操作系统，可以提供稳定的网络服务和计算性能。 　　3）Cloudera CDH开源框架 　　目前，主要的免费Hadoop提供商为Apache Hadoop（原始版，其他均基于此版本改进）、Cloudera CDH（Cloudera’s Distribution Including Apache Hadoop，CDH）、Hortonworks HDP（Hortonworks Data Platform，HDP）。由于Cloudera CDH的优点，绝大多数应用选择CDH。Cloudera CDH和Apache Hadoop相比主要改进如下： 　　（1）CDH版本划分清晰，只有CDH3和CDH4两个系列，在兼容性、安全性和稳定性性都比Apache Hadoop要好。 　　（2）CDH更新速度快，并且能够及时修改Bug，比比Apache hadoop同功能版本提早发布。 　　（3） CDH支持Ker