Hadoop大数据技术与项目实战 实训指导书及代码资源 2.6 Sqoop原理及应用.pdf

山西职业技术学院《Hadoop大数据技术与项目实战》

Sqoop原理及安装部署

一、任务描述

Sqoop是一款开源的ETL工具，使用Sqoop可以完成Hadoop与MySQL之间的数

据迁移，为满足项目需要，本任务在node1节点安装部署及验证Sqoop。操作步骤是

上传并解压Sqoop安装包，配置Sqoop环境变量，修改配置文件sqoop-env.sh，最后

验证Sqoop环境及远程连接MySQL。

二、能力目标

能正确安装部署Sqoop环境

三、任务准备

1.Xshell软件、Xftp软件、Notepad++软件

2.sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

四、任务实施

1.上传Sqoop安装包

使用Xftp软件，将Sqoop安装包sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz上传至

node1节点的/opt/software/目录下。

2.安装Sqoop

通过解压缩的方式安装Sqoop，将Sqoop安装到/opt/module/目录，命令如下。

[bigdata@node1software]$tar-zxvfsqoop-1.4.7.bin__hadoop-2.6.0.tar.gz-C/opt/

module/

上述命令执行结束后，进入/opt/module目录下，使用mv命令，将sqoop-1.4.7.

bin__hadoop-2.6.0更名为sqoop-1.4.7。

1

山西职业技术学院《Hadoop大数据技术与项目实战》

[bigdata@node1software]$cd/opt/module/

[bigdata@node1module]$mvsqoop-1.4.7.bin__hadoop-2.6.0/sqoop-1.4.7

3.配置Sqoop环境变量

执行以下命令打开系统环境变量文件profile。

[bigdata@node1module]$sudovim/etc/profile

对该文件进行编辑，在文件末尾添加以下两行配置信息，配置Sqoop的安装目录

及bin目录，添加完毕后保存并退出。

exportSQOOP_HOME=/opt/module/sqoop-1.4.7

exportPATH=$PATH:$SQOOP_HOME/bin

执行source命令初始化系统环境变量，使配置内容生效。

[bigdata@node1module]$source/etc/profile

4.修改Sqoop配置文件

使用Notepad++软件连接node1节点，进入/opt/module/sqoop-1.4.7/conf目录，

右击sqoop-env-template.sh文件，选择“RenameFile”菜单项，将该文件更名为

sqoop-env.sh。

双击打开sqoop-env.sh文件，删除23行、26行、32行中的“#”，三行对应的配置

内容如下。

exportHADOOP_COMMON_HOME=/opt/module/hadoop-3.3.0

exportHADOOP_MAPRED_HOME=/opt/module/hadoop-3.3.0

exportHIVE_HOME=/opt/module/hive-3.1.2

配置结果如下图所示。

2

山西职业技术学院《Hadoop大数据技术与项目实战》

5.上传MySQL与Hive连接的驱动包及Sqoop依赖包

因为Sqoop在导入Hive元数据信息时，需要访问MySQL数据库，所以需要将MySQL

与Hive连接的驱动包mysql-connector-java-5.1.48.jar上传至sqoop-1.4.7/lib目录。另

外Sqoop运行时需要依赖commons-lang-2.6.jar，所以也需