3.3.1Sqoop服务框架与迁移工具.docVIP

PAGE

PAGE4

《大数据应用技术基础》教学设计

课题

Sqoop服务框架与迁移工具

课型

理论

班级

教师

课时

2

教学分析

教材分析

教师备课时填写

学情分析

教师备课时填写

教学目标

知识

1．能描述Sqoop服务架构组成；

2．能说出Sqoop服务工具及作用

技能

1．能判别Sqoop服务的应用场景；

2．能为应用选择恰当的Sqoop数据迁移工具。

素养

1．培养关注行业前沿技术发展的意识；

2．培养大数据应用意识。

教学重点

Sqoop服务架构组成

教学难点

ZooKeeper的数据型及作迁移工具及作用

教学方法

讲授法、讨论法、演示法

教学环境

软件环境：CentOS7操作系统

硬件环境：多媒体教室或软件实训室，计算机

教学资源：PPT、微课视频

教学反思

教师课后填写

教学过程

教学环节

教师活动

学生活动

新课导入

(5分钟)

1．结构化SQL数据库存储有巨量的业务数据，由于SQL数据本身性能瓶颈不利于进行数据分析，可有什么好的解决方法？

2．数据分析生成的高价值数据体量？变得很小还适宜存储到大数据平台吗？

讨论

交流

目标展示

(5分钟)

PPT展示本课题要完成的目标并适当解说

观看

了解

新课教学

（60分钟）

活动一认识Sqoop服务架构组成(20分钟)

1．Sqoop服务架构

观察框图示意：描述各组件的作用。

数据从SQL数据库迁移到Hadoop，经过分析处理后存入Hive表中的数据，又通过Sqoop然后导出到SQL数据库以便使用。

问：Task转换器的作用是什么？

数据可以哪些平台之间转换？

数据导入和数据导出分别指的是什么之间的数据迁移？

2．数据迁移过程

（1）客户使用Sqoop的工具发出的命令

（2）Task转换器翻译成相应的MapReduce程序

（3）在YARN上执行相应MapReduce任务实现在SQL数据库与Hadoop系统之间传输数据。

观看

讨论

笔记

活动二Sqoop服务数据迁移工具（30分钟）

1．数据导入

数据导入是指从SQL数据表中把数据迁移到HDFS系统的操作。

sqoopimport导入参数

（1）指定目标数据文件格式

--as-textfile：文本文件（默认）

--as-avrodatafile：Avro数据文件

--as-sequencefile：sequence文件

（2）指定SQL数据表

--table表名：数据的源表名

（3）指定查询语句

--querySQL命令：SQL查询语句

（3）指定查询条件

--where条件表达式：查询条件

一个SQL数据表对应多个HDFS数据文件。

2．数据导出

数据导出是指将数据从HDFS系统迁移到SQL数据表的过程。

sqoopexport导入参数

（1）指定导出文件的HDFS目录路径

--export-dir路径：HDFS源路径

（2）设定目的表名

--table表名：表名

（3）设置并行执行的MAP任务数

--num-mappersn：Map任务数

（4）设置数据插入时的更新方式

--update-mode方式：当有不匹配行时，updateonly（仅更新），allowinsert（允许插入）

观看

讨论分析

笔记

讨论作答

讨论

展示评价

（5分钟）

1．Sqoop服务的核心是。

2．Sqoop数据导入过程是。

3．Sqoop数据导出过程是。

完成练习

课堂小结

(5分钟)

1．Sqoop服务架构组成；

2．Sqoop服务工具及作用；

3．Sqoop服务数据导入过程；

4．Sqoop服务数据导出过程。

个别与集体结合回顾学习的内容

课后作业

教师备课时填写或课后自行针对性命题

知识技能拓展

调研说明Hadoop技术在大数据领域中的应用情况。