Hadoop大数据项目实战（微课版）教案5.docxVIP

主题

任务1酒店数据清洗

序号

课时

2

教学手段

多媒体、板书、实训室

教学方法

讲授法、演示法、案例法

教学课型

□理论□实训R一体化□（其它）

教学目标

知识目标：MapReduce的编程模型、工作原理、常用组件。

技能目标：能编写MapReduce程序实现数据清洗。

素质目标：协调能力、团队合作的能力；接受新知识、自主学习的能力。

教学重点

MapReduce的编程模型及工作原理

教学难点

MapReduce的常用组件

教学过程设计

备注

一.教学内容（80分钟）

（一）回顾上节课内容，讲述MapReduce的架构和原理

1．对上节课留的作业进行答疑

2．回顾上节课内容，引出本节课的主题

通过上节课的学习，学生了解到MapReduce框架主要是由Map和Reduce两个阶段来实现计算的，那么这两个阶段的内部是如何协同工作的呢？本节课将针对MapReduce对数据进行清洗。

3．明确学习目标

（1）掌握MapReduce工作过程

（2）掌握MapTask工作原理

（3）掌握ReduceTask工作原理

（4）掌握Shuffle工作原理

（二）进行重点知识的讲解

1.需求说明

介绍任务的总体需求，实现对酒店数据的清洗处理。

2.设计思路

根据MapReduce工作原理可知，MapReduce分为Map和Reduce两个阶段，要剔除不规范的数据，可以在Map阶段对数据进行处理，如果要统计每个省份五星级酒店的个数，可以在Reduce阶段进行汇总，这样可以实现以上需求。

3.基础准备

在IDEA开发环境下创建Maven项目并导入对应的依赖包。

4.实施编码

分别编写Mapper、Reducer、Driver程序。

5.项目运行

（三）归纳总结，随堂练习

对课堂上讲解的知识点进行总结，使用高校教辅平台中的随堂练习题巩固本节课的知识点。

二.总结（10分钟）

教师指出学生实践中可能出错和已经出错的地方，结合教学重点和难点，对所学知识进一步强化。

作业布置

教学反思

主题

任务2MapReduce计算平均分

序号

课时

2

教学手段

多媒体、板书、实训室

教学方法

讲授法、演示法、案例法

教学课型

□理论□实训R一体化□（其它）

教学目标

知识目标：MapReduce的编程模型、工作原理、常用组件。

技能目标：能编写MapReduce程序实现数据计算统计。

素质目标：协调能力、团队合作的能力；接受新知识、自主学习的能力。

教学重点

MapReduce的编程模型及工作原理

教学难点

MapReduce的常用组件

教学过程设计

备注

一.教学内容（80分钟）

（一）回顾上节课内容，讲述MapReduce的架构和原理

1．对上节课留的作业进行答疑

2．回顾上节课内容，引出本节课的主题

通过上节课的学习，学生了解到MapReduce框架主要是由Map和Reduce两个阶段来实现计算的，那么这两个阶段的内部是如何协同工作的呢？本节课将针对MapReduce对数据进行统计分析计算。

3．明确学习目标

（1）掌握MapReduce工作过程

（2）掌握MapTask工作原理

（3）掌握ReduceTask工作原理

（4）掌握Shuffle工作原理

（二）进行重点知识的讲解

1.需求说明

本例通过对输入文件中的学生三科成绩进行计算，得出每个学生的平均成绩，输入文件中的每行内容均为一个学生的学号和其对应的成绩，每门学科的成绩为一个文件，要求输出结果中每行有两列数据，其中第一列代表学生的学号，第二列代表学生的成绩，输入的三个文件内容如下：

语文成绩见chinese.txt，内容如下：

sn001,89

sn002,78

sn003,94

sn004,82

2.设计思路

根据MapReduce的工作原理可知，Map任务最终处理的结果会以key,value键值对的格式发送到Reduce进行合并，具有相同key的key,value键值对会发送到同一个Reduce任务中进行处理，即Reduce任务处理的数据是key和这个key对应的所有value的一个集合（value-list）。

3.基础准备

在IDEA开发环境下创建Maven项目并导入对应的依赖包。

4.实施编码

在前一个范例项目的基础上新建一个pakage为com.cqcvc.avg，然后依次创建AvgMapper、AvgReducer、AvgDriver三个class。

AvgMapper