Hadoop集群程序设计与开发教学大纲.docxVIP

ffiadoop集群程序设计与开发》教学 大纲 课程名称：Hadoop集群程序设讣与开发 课程类别：必修 适用专业：大数据技术类相关专业 总学时：64学时 总学分：4.0学分 一、课程的性质 本课程是为大数据技术类相关专业学生开设的课程。大数据技术蓬勃发展，基于开源技 术的Hadoop在行业中应用广泛。Hadoop开源免费、社区活跃，框架具备分布式存储和计 算的核心功能，并且有企业成功的案例（如如淘宝、百度等）。本课程首先通过企业项目发 展历程介绍了大数据与云计算的概念并将Hadoop在这二个领域中的作用与地位进行阐述。 通过Hadoop源码片断与理论及实操结合的模式介绍Hadoop分布式存储框架HDFS与分布 式il?算框架MapReduce的用法。对于HDFS不能很好支持小条目读取的缺陷，引入HBasc 框架进行应用说明。对于MapReduce框架对于项目专业人员的技能要求门槛高，复杂业务 开发周期较长的问题引入了 Hive框架进行应用说明。Hadoop与HBase和Hive结合进行项 目中大数据的存取与统计计算在企业中的运用越来越广泛，学习Hadoop框架已然是进入大 数据行业所必不可少的一步。 二、课程的任务 通过本课程的学习，使学生对Hadoop框架有一个全而的理解，课程内容主要包括了 Hadoop基本原理与架构、集群安装配置、HDFS应用、HDFSI/O操作、MapReduce I作原 理与应用编程、HBasc基本应用、Hive基本应用，关键知识点配置Hadoop源码片断和实操 案例进行辅助。涉及的知识点简要精到，实践操作性强。 三、教学内容及学时安排 序 号 章节名称 主要内容 教学目标 学时 1 初识Hadoop 为什么要学习Hadoop Hadoop与云计算的关系 Hadoop与大数据的关系 学习Hadoop需要具备哪 些知识基础 学习Hadoop需要的实验 环境什么样 学习完Hadoop能做什么 了解Hadoop产生过程、应 用场景 理解云计算、大数据概念及 Hadoop与它们的关系 了解Hadoop学习过程及目 前Hadoop人才需求情况 4 2 Hadoop基础知识 Hadoop 简介 Hadoop版本演化工作原 理 HDFS（分布式文件系统） 工作原理 MapReduce （分布式汁算 框架）工作原理 YARN （资源管理系统） 工作原理 容错机制 7?安全性 了解Hadoop版本衍化情况 及生态系统的特点 掌握Hadoop版本原理衍化 过程 掌握 HDFS、MapReduce, YARN工作原理 4 3 Hadoop开发环境 配置与搭建 1 ?集群部署 本地/独立模式搭建 Hadoop伪分布模式搭建 完全分布式搭建 基于 Hadoop 环境 Eclipse 开发环境搭建 掌握集群部署的要点 掌握Hadoop集群配置的流 程及内容 掌握基于Hadoop平台 Eclipse开发环境的建立过程 8 4 Hadoop分布式文 件系统（HDFS） HDFS流操作 HDFS常用命令行操作概 述 通过Web浏览HDFS文 件 HDFS API 理解HDFS流的操作过程 掌握常用HDFS命令 掌握HDFS Java API编程写 法 4 5 Hadoop 的 I/O 操 作 1?压缩 I/O序列化类型 基于文件的数据结构 掌握压缩类型的正确应用 掌握Writable类型的正确应 用 掌握自定义Writable类型的 实现与应用 掌握SequenceFile的基本应 用 6  6 MapReduce 编程 基础 剖析MapRdeuce编程过 程 由 WordCount 理解 MapReduce编程过程 MapReduce 类型 Mapper 输入 Shuffle过程详解 Combiner 由WordCount案例理解 Combiner 由SVG案例进一步理解 Combiner 9. OutFormat 输岀 掌握MapRcdeuce工作输入 过程 掌握Combiner用法 掌握Shuffle工作原理及实 验过程 掌握MapRedeuce工作输岀 过程 10 7 Hadoop高级编程 计数器 最值 全排序 二次排序 连接 1.熟练掌握计数器的用法 2?熟练掌握大数据的编程思 想 8 8 HBase HBase基础知识 HBase开发环境配宜与 安装 HBase基本Shell操作 基于HBase API程序设计 RowKey 设计 掌握HBase体系结构 掌握HBase工作原理 熟练掌握常用HBase Shell 有HBase API操作 理解HBase RowKey的设计 过程 8 9 Hive Hive基础知识 Hive环境安装 HiveQL基本语法 HiveQL本査询 视图和索引 Hive 与 HBase 集成