Hadoop大数据项目实战（微课版）教案7.docVIP

76-

29-

主题

任务1项目基础知识

序号

课时

2

教学手段

多媒体、板书、实训室

教学方法

讲授法、演示法、案例法

教学课型

□理论□实训R一体化□（其它）

教学目标

知识目标：了解数据清洗和分析的概念和方法。

技能目标：能利用相关的数据清洗工具对数据进行清洗和分析，并进行数据可视化。

素质目标：协调能力、团队合作的能力；接受新知识、自主探索的能力。

教学重点

数据清洗、分析、可视化工具的使用

教学难点

数据清洗和分析工具的使用

教学过程设计

备注

一.教学内容（80分钟）

（一）回顾上节课内容，讲述推荐算法实现过程

1．对上节课留的作业进行答疑

2．回顾上节课内容，引出本节课的主题

由于原始数据可能存在缺失值、重复、空值等问题，如何对这些有问题的数据进行处理和进行数据挖掘呢？

3．明确学习目标

（1）掌握数据清洗、挖掘、分析、可视化的概念。

（2）掌握数据分析处理的工具。

（二）进行重点知识的讲解

1.数据清洗步骤

（1）分析数据并定义清洗规则。

（2）搜寻并标识错误实例。

（3）纠正发现的错误。

（4）干净数据回流。

（5）数据清洗的评判。

2.数据分析简介

（1）可视化分析

（2）数据挖掘算法

（3）预测性分析能力

（4）语义引擎

（5）数据质量和数据管理

（6）数据存储，数据仓库

3.数据可视化简介

eCharts是一款基于JavaScript的数据可视化图表库，提供直观，生动，可交互，可个性化定制的数据可视化图表。ECharts最初由百度团队开源，并于2018年初捐赠给Apache基金会，成为ASF孵化级项目。

（三）归纳总结，随堂练习

对课堂上讲解的知识点进行总结，使用高校教辅平台中的随堂练习题巩固本节课的知识点。

二.总结（10分钟）

教师指出学生实践中可能出错和已经出错的地方，结合教学重点和难点，对所学知识进一步强化。

作业布置

课后探索实验pyCharts、Tableau等数据可视化工具。

教学反思

主题

任务2电商数据分析与可视化

序号

课时

2

教学手段

多媒体、板书、实训室

教学方法

讲授法、演示法、案例法

教学课型

□理论□实训R一体化□（其它）

教学目标

知识目标：了解数据清洗、分析、可视化流程。

技能目标：能利用相关的工具并进行数据分析和可视化实现。

素质目标：协调能力、团队合作的能力；接受新知识、自主探索的能力。

教学重点

数据清洗、分析、可视化处理

教学难点

数据清洗、分析、可视化处理

教学过程设计

备注

一.教学内容（80分钟）

（一）回顾上节课内容，讲述推荐算法实现过程

1．对上节课留的作业进行答疑

2．回顾上节课内容，引出本节课的主题

面对电商数据，如何对数据进行清洗、挖掘分析和可视化呢？

3．明确学习目标

（1）掌握数据处理流程。

（2）掌握数据处理的编程方法。

（二）进行重点知识的讲解

1.任务需求分析

过对电商平台日志数据进行统计分析，可以得出平台的浏览次数、收藏次数、加入购物车次数、购买次数等统计信息。结合ECharts可视化技术，可实现数据的可视化展示，为经营决策者提供决策支撑服务。

2.数据处理流程

在大数据开发中，通常首要任务是明确目的，即想从大量数据中得到什么类型的结果，并进行展示说明。只有明确了目的后，开发人员才能根据具体的需求过滤数据，并通过大数据技术进行数据分析和处理，最终将处理结果以图表等可视化形式展示出来。

3.程序编写

（1）使用Flume搭建日志采集系统

本项目的需求是利用Flume将Linux指定目录的电商日志文件信息采集到HDFS文件系统中，具体的配置如下：

a1.sources=r1

a1.sources.r1.type=TAILDIR

a1.sources.r1.channels=c1

a1.sources.r1.positionFile=/var/log/biz_info.json

a1.sources.r1.filegroups=f1f2

a1.sources.r1.filegroups.f1=/var/log/test1/example.log

a1.sources.r1.filegroups.f2=/var/log/test2/.*.log.*

（2）数据预处理

importjava.io.IOException;

importorg.apache.hadoop.io.LongWritable;

importorg