Hadoop大数据技术与项目实战 实训指导书——2.6.2 Sqoop数据迁移案例.pdf

山西职业技术学院《Hadoop大数据技术与项目实战》

Sqoop数据迁移案例

一、任务描述

本任务为Sqoop数据迁移案例，进行全部导入和查询导入这两种数据导入操作，

以及数据导出操作。

二、能力目标

1.能理解数据导入导出命令及参数含义

2.能正确使用Sqoop实现数据导入及导出操作

三、任务准备

启动HDFS及YARN服务

四、任务实施

1.数据迁移准备

首先进行数据迁移准备，在node1节点登录MySQL。

[bigdata@node1~]$mysql-uroot-p123456

成功登录MySQL后，创建一个新的数据库company，在该数据库中新建表staff。

mysqlcreatedatabasecompany;

mysqlcreatetablecompany.staff(idint(4)primarykeynotnullauto_increment,n

amevarchar(255),sexvarchar(255));

小贴士：建表语句中primarykeynotnullauto_increment表示id字段不能为空值且

自增长。

使用insertinto命令往staff表中插入数据，作为数据源。

mysqlinsertintocompany.staff(name,sex)values(Thomas,Male);

mysqlinsertintocompany.staff(name,sex)values(Catalina,FeMale);

1

山西职业技术学院《Hadoop大数据技术与项目实战》

查看staff表中的数据，如下所示。

mysqlselect*fromcompany.staff;

++++

|id|name|sex|

++++

|1|Thomas|Male|

|2|Catalina|FeMale|

++++

2rowsinset(0.03sec)

执行exit命令退出MySQL。

mysqlexit;

2.数据导入

所谓数据导入是指将数据从MySQL数据表迁移到HDFS上。

本任务涉及数据迁移中的两种数据导入方式，第一种为全部导入，第二种为根据条

件查询导入。

（1）全部导入

在node1节点命令行中输入如下命令：

[bigdata@node1~]$sqoopimport\

--connectjdbc:mysql://node1:3306/company\

--usernameroot\

--password123456\

--tablestaff\

--target-dir/user/company\

--delete-target-dir\

--num-mappers1\

--fields-terminated-by\t

参数说明：

2

山西职业技术学院《Hadoop大数据技术与项目实战》

sqoopimport\：代表导入

--connectjdbc:mysql://node1:3306/company\：sqoop连接mysqlcompany数

据库

--usernameroot\：mysql用户名为root

--password123456\：mysql用户密码为123456

--tablestaff\：将staff表数据导入到HDFS

--target-dir/user/company\：指定数据导入的HDFS路径为/user/company

--delete-target-dir\：如果company目录存在则删除该目录