Sqoop离线数据采集工具.pdfVIP

1

第一章Sqoop介绍及安装

1.1

Sqoop概念

ApacheSqoop是一个开源工具，专为在关系型数据库（如MySQL、PostgreSQL、Oracle等）与大数据平台

（如Hadoop的HDFS、Hive、HBase等）之间高效传输数据而设计。Sqoop具备如下特点：

数据导入：将数据从关系型数据库导入到Hadoop生态系统（如HDFS、Hive、HBase）。

数据导出：将数据从Hadoop生态系统导出回关系型数据库。

增量导入：支持根据时间戳或自增ID来获取关系型数据库中的新增数据。

压缩与分隔符支持：在数据导入时支持使用压缩算法以及自定义数据字段的分隔符。

并行化操作：基于MapReduce任务的并行处理提高数据传输速度。

尽管Sqoop的功能相对成熟且完整，但由于其依赖于MapReduce，而目前许多公司已逐渐停止使用

MapReduce，加之大数据组件（如Spark）支持直接对接关系型数据库导入数据，因此Sqoop项目目前已停止更

新。然而，Sqoop仍在大数据领域有着广泛应用。

Sqoop官网如下：/，Sqoop的最新稳定版本是1.4.7，Sqoop还推出了一个名为

Sqoop2的版本，其最新版本为1.99.7。然而，Sqoop2与Sqoop1.4.7版本不兼容，且功能尚不完整，官方不建

议在生产环境中使用，对于实际应用，建议选择功能更稳定的Sqoop1版本。

1.2

Sqoop安装

Sqoop本身是一个客户端工具，用于将数据在关系数据库与Hadoop生态之间导入或导出，它的主要功能是利

用JDBC连接到源数据库并通过生成的MapReduce任务执行数据传输，因此，Sqoop的安装仅需要单节点即可，

不需要分布式部署。

搭建Sqoop之前需要配置好Hadoop和JAVA_HOME环境变量，这里在集群node3节点上进行搭建Sqoop，步骤

如下：

1)

上传解压Sqoop安装包

登录sqoop官网：/

,下载Sqoop,这里选择版本1.4.7版本进行下载。将下载好的

Sqoop，上传到集群中的node3节点上进行解压并重命名。注意：节点必须有Hadoop环境，并且配置好hadoop

环境变量。

#上传解压

[root@node3software]#ls

sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

[root@node3software]#tar-zxvf./sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

#改名

[root@node3software]#mvsqoop-1.4.7.bin__hadoop-2.6.0sqoop-1.4.7

2)

配置sqoop环境变量

在node3节点/etc/profile追加Sqoop的环境变量，保存后，执行source/etc/profile使环境变量生效。

#vim/etc/profile

exportSQOOP_HOME/software/sqoop-1.4.7

exportPATH$PATH:$SQOOP_HOME/bin

#source使环境变量生效

[root@node3software]#source/etc/profile

3)

拷贝mysql的驱动包到Sqooplib目录下

后续Sqoop同步MySQL数据库中的数据时，需要使用MySQL驱动包。这里将资料中“mysql-connector-java-

8.0.30.jar”驱动包上传至node3$SQOOP_HOME/lib目录下。

4)

拷贝hive相应的jar包到Sqooplib下

当将关系型数据库中数据导入到Hive时，需要使用到Hive对应的jar包，需要将“$HIVE_HOM