3.3.2在SQL数据库与HDFS间迁移数据.docVIP

PAGE

PAGE3

《大数据应用技术基础》教学设计

课题

在SQL数据库与HDFS间迁移数据

课型

理论

班级

教师

课时

2

教学分析

教材分析

教师备课时填写

学情分析

教师备课时填写

教学目标

知识

1．能说出Sqoop迁移数据的基本操作流程；

2．能描述数据导入生成的数据文件与记录的关系；

3．能描述数据导出时的合并规则。

技能

1．能实施数据导入操作；

2．能实施数据导出操作。

素养

1．培养关注行业前沿技术发展的意识；

2．培养大数据应用意识。

教学重点

数据的导入与导出操作

教学难点

为数据导入导出使用恰当的参数

教学方法

讲授法、讨论法、演示法

教学环境

软件环境：CentOS7操作系统

硬件环境：多媒体教室或软件实训室，计算机

教学资源：PPT、微课视频

教学反思

教师课后填写

教学过程

教学环节

教师活动

学生活动

新课导入

(5分钟)

1．交流在MySQL数据库中导出数据表进行的操作经验。其中可进行哪些控制操作？

2．为什么需要在不同平台之间迁移数据？请列举你所知道的原因？

讨论

交流

目标展示

(5分钟)

PPT展示本课题要完成的目标并适当解说

观看

了解

新课教学

（60分钟）

活动一导入数据(30分钟)

1．连接到MySQL服务器并显示其中的数据库

sqooplist-databases--connetc

jdbc:mysql:/bds001:3306--usernameroot-P

连接通过MySQL数据库的JDBC驱动程序

2．导入数据

把数据表bk_base_info中的数据导入到HDFS的/sqoop/data目录中。

sqoopimport\

-Dorg.apache.sqoop.splitter.allow_text_splitter=true\

--connetcjdbc:mysql:/bds001:3306\

--usernameroot-P\

--tablebk_base_info\

--target-dir/sqoop/data

问：命令中各参数担当的任务是什么？

3．查看导入生成的数据文件

数据文件保存在/sqoop/data目录中。

hdfsdfs-ls/sqoop/data

4．查看数据文件中的数据

hdfsdfs-cat/sqoop/data/part-m-00001

问：你在数据文件中看见了什么？这说明了什么？

SQL表中的一条记录生成一个HDFS的文件。

笔记

讨论

讨论

交流

活动二导出数据（30分钟）

1．新建MySQL数据表

在MySQL服务器上新建一个空数据表bk_info，其与bk_base_info有相同的结构。

createtablebk_info(ISBNchar(13)notnull,…);

演示操作新建数据表。

2．执行数据导出

sqoopexport\

--connetcjdbc:mysql:/bds001:3306\

--usernameroot-P\

--tablebk_info\

--export-dir/sqoop/data/part-m-00001

其间要求输入MySQL登录账号的密码。

3．查看导出结果

登录MySQL，执行：

select*frombk_info

Sqoop在执行数据迁移时，将转换成Map任务来执行数据的导入和导出操作。

观看

笔记

展示评价

（5分钟）

1．执行导入导出时都要SQL数据库。

2．导入时一个表生成个数据文件。

3．使用命令可以获得sqoop工具的帮助。

完成练习

课堂小结

(5分钟)

1．Sqoop迁移数据的基本操作流程；

2．数据导入生成的数据文件与记录的关系；

3．数据导入与导出。

个别与集体结合回顾学习的内容

课后作业

教师备课时填写或课后自行针对性命题

知识技能拓展

调研说明Hadoop技术在大数据领域中的应用情况。