《Hadoop大数据技术原理与应用》课程标准.doc

《Hadoop大数据技术原理与应用》课程标准 课程编号：3250578 学 分：4学分 学 时：72学时 （其中：讲课学时36 上机学时：36） 先修课程： 《Linux基础》、《关系数据库基础》、《程序设计基础》、《Java面向对象编程》 后续课程：Spark，《Python编程基础》、《Python数据分析与应用》 适用专业：大数据应用技术 一、课程的性质与目标 《大数据应用开发》本课程是软件技术专业核心课程，大数据技术入门课程。通过学习课程使得学生掌握大数据分析的主要思想和基本步骤，并通过编程练习和典型应用实例加深了解；同时对Hadoop平台应用与开发的一般理论有所了解，如分布式数据收集、分布式数据存储、分布式数据计算、分布式数据展示。 开设本学科的目的是让学生掌握如何使用大数据分析技术解决特定业务领域的问题。完成本课程学习后能够熟练的应用大数据技术解决企业中的实际生产问题。 二、教学条件要求 操作系统：Center OS Hadoop版本：Hadoop2.7.4 开发工具：Eclipse 三、课程的主要内容及基本要求 第1章 初识Hadoop 章名 初识Hadoop 学时 4 学习目标 了解什么是大数据及其特征 熟悉大数据的典型应用 了解Hadoop的发展历史及其版本 掌握Hadoop的生态体系 知识点 了解 掌握 重点 难点 什么是大数据 √ 大数据的特征 √ 研究大数据的意义 √ 大数据的应用场景 √ Hadoop的发展历史 √ Hadoop的优势 √ √ Hadoop的生态体系 √ √ √ Hadoop的版本 √ 第2章 构建Hadoop集群 章名 Hadoop集群构建 学时 5 学习目标 了解虚拟机的安装和克隆 熟悉Linux系统的网络配置和SSH配置 掌握Hadoop集群的搭建和配置 掌握Hadoop集群测试 熟悉Hadoop集群初体验的操作 知识点 了解 掌握 重点 难点 虚拟机安装 √ 虚拟机克隆 √ Linux系统网络配置 √ SSH服务配置 √ Hadoop集群部署模式 √ JDK安装 √ Hadoop安装 √ Hadoop集群配置 √ √ √ 格式化文件系统 √ 启动和关闭Hadoop集群 √ √ 通过UI界面查看Hadoop运行状态 √ √ Hadoop集群初体验 √ √ 第3章 HDFS分布式文件系统 章名 HDFS分布式文件系统 学时 5 学习目标 了解HDFS演变 掌握HDFS特点 掌握HDFS的架构和原理 掌握HDFS的Shell和Java Api操作 知识点 了解 掌握 重点 难点 HDFS的演变 √ HDFS的基本概念 √ HDFS的特点 √ √ HDFS架构和原理 √ √ √ HDFS的Shell操作 √ HDFS的Java API操作 √ 第4章 MapReduce分布式计算系统 章名 MapReduce 分布式计算框架 学时 8 学习目标 理解MapReduce的核心思想 掌握MapReduce的编程模型 掌握MapReduce的工作原理 掌握MapReduce常见编程组件的使用 知识点 了解 掌握 重点 难点 MapReduce核心思想 √ MapReduce编程模型 √ √ MapReduce编程实例——词频统计 √ MapReduce工作过程 √ √ √ MapTask工作原理 √ √ ReduceTask工作原理 √ √ Shuffle工作原理 √ √ MapReduce编程组件 √ √ √ MapReduce运行模式 √ MapReduce性能优化策略 √ MapReduce经典案例——倒排索引 √ MapReduce经典案例——数据去重 √ MapReduce经典案例——TopN √ 第5章 Zookeeper分布式协调服务 章名 Hadoop进阶 学时 10 学习目标 了解Zookeeper的概念和特性 理解Zookeeper数据模型 掌握Zookeeper的Watch机制和选举机制 掌握Zookeeper的集群部署 掌握Zookeeper的Shell操作和Java API操作 熟悉Zookeeper的应用场景 知识点 了解 掌握 重点 难点 Zookeeper的简介 √ Zookeeper的特性 √ Zookeeper集群角色 √ Zookeeper的数据模型 √ Zookeeper的Watch机制 √ √ Zookeeper的选举机制 √ √ Zookeeper分布式集群部署 √ √ √ Zookeeper Shell操作 √ Zookeeper Java API操作 √ Zookeeper典型应用场景 √ 第6章 Hadoop2.0新特性 章名 Hadoop2.0新特性 学时 3 学习目标 掌握YARN的体系结构和工作流程 掌握HDFS的高可用架