《Hadoop大数据开发实战》教学教案—10Sqoop.docxVIP

Hadoop大数据开发实战 教学设计 课程名称：Hadoop大数据开发实战 授课年级： ______ ______________ ___ 授课学期： ___ ____ ________ ________ 教师姓名： ______________ ________ 课程名称 第10章 Sqoop 计划学时 4学时 内容分析 本章主要介绍认识Sqoop、Sqoop安装、Sqoop命令、Sqoop数据导入、Sqoop数据导出、Sqoop job 教学目标 与 教学要求 要求学生掌握Flume框架及其原理、熟悉Flume的安装和使用、掌握Source、Sink、Channel的使用方法、掌握拦截器的用法 教学重点 Sqoop命令、Sqoop数据导入、Sqoop数据导出、Sqoop job 教学难点 Sqoop命令、Sqoop数据导入、Sqoop数据导出、Sqoop job 教学方式 课堂讲解及ppt演示 教 学 过 程 第一课时 （认识Sqoop、Sqoop安装、Sqoop命令、Sqoop数据导入） 回顾内容，引出本课时主题 1.回顾内容，引出本课时的主题 上节学习了Flume的相关知识，本节将带领学习进行Sqoop安装、Sqoop命令、Sqoop数据导入的学习。Sqoop通过Hadoop的MapReduce实现了数据在关系型数据库与HDFS、Hive、HBase等组件之间的传输。在大数据项目中，Sqoop为大规模数据的处理与存储提供了重要支持。 2.明确学习目标 能够了解Sqoop 能够掌握Sqoop原理和架构 能够掌握Sqoop安装和Sqoop命令 能够掌握将MySQL的数据导入HDFS 能够掌握将MySQL的数据导入Hive 知识讲解 Sqoop简介 Sqoop是一种用于在 Hadoop和结构化数据系统（如关系数据库、大型机）之间高效传输数据的工具。Sqoop项目开始于2009年，它的出现主要是为了满足以下两种需求。 （1）企业的业务数据大多存放在关系数据库（如MySQL、Oracle）中，数据量达到一定规模后，如果需要对其进行统计和分析，直接使用关系数据库处理数据的效率较低，这时可以通过Sqoop将数据从关系型数据库导入Hadoop的HDFS（或HBase、Hive）进行离线分析。 （2）使用Hadoop处理后的数据，往往需要同步到关系数据库中作为业务的辅助数据，这时可以通过Sqoop将Hadoop中的数据导出到关系数据库。 Sqoop担负了将数据导入和导出Hadoop的任务。Sqoop的核心设计思想是利用MapReduce提高数据传输速度。Sqoop 的导入和导出功能就是通过 MapReduce 作业来实现的。 目前Sqoop主要有两个系列：Sqoop1和Sqoop2。Sqoop1最新的稳定版本是1.4.7，Sqoop2的最新版本是1.99.7。1.99.7版本功能不完整，并且与1.4.7版本不兼容，不适用于生产部署。目前大多数企业中主要使用的是Sqoop1，因此本书选用1.4.7版本进行讲解。 Sqoop原理 Sqoop的原理其实就是将导入导出命令转化为MapReduce程序来执行，Sqoop在接收到命令后，都要生成MapReduce程序 使用Sqoop的代码生成工具可以方便查看到Sqoop生成的Java代码，并可在此基础之上进行深入定制开发 Sqoop架构 Sqoop的常用架构如图所示。 通过Sqoop架构图可以简单地了解Sqoop的运行流程。以从关系型数据库导入数据为例，Sqoop大致的运行流程是：读取将要导入数据的表结构；生成运行类（默认是QueryResult）；打成jar包；提交给Hadoop；设置MapReduce作业的各种参数；由Hadoop来执行MapReduce作业。 Sqoop安装 Sqoop的安装包见附录。注意：Sqoop的1.4.7版本底层适配的是Hadoop2.6.0版本，本书使用的是Hadoop2.7.3版本。虽然使用的Hadoop版本不同，但是Hadoop的2.7.3版本兼容2.6.0版本。Sqoop的安装步骤参见教材10.2节。 Sqoop命令 Sqoop主要通过命令（Command）来进行相关操作，Sqoop命令是学习Sqoop的核心内容。使用help命令查看Sqoop命令。?Sqoop常用命令的用途，如表所示。 序号 命令（Command） 对应的Java类 用途 1 import ImportTool 将数据导入到集群 2 export ExportTool 将集群数据导出 3 codegen CodeGenTool 获取数据库中某张表数据生成 4 create-hive-table CreateHiveTab