Sqoop数据传输原理与架构对比分析.pdfVIP

概述

sqoop是Apache顶级项目，主要用来在Hadoop和关系数据库中传递数据。通过sqoop，

我们可以方便的将数据从关系数据库导入到HDFS，或者将数据从HDFS导出到关系数据

库。

sqoop架构：

sqoop架构非常简单，其整合了Hive、Hbase和Oozie，通过map-reduce任务来传输数

据，从而并发特性和容错。

sqoop1和sqoop2区别

这两个版本是完全不兼容的，其具体的版本号区别为1.4.x为sqoop1，

1.99x为sqoop2。sqoop1和sqoop2在架构和用法上已经完全不同。

在架构上，sqoop2引入了sqoopserver（具体服务器为tomcat），对connector

实现了集中的管理。其方式也变得多样化了，其可以通过RESTAPI、JAVAAPI、

WEBUI以及CLI控制台方式进行。另外，其在安全性能方面也有一定的改

善，在sqoop1中我们经常用的方式将HDFS中的数据导入到mysql中，或者反

过来将mysql数据导入到HDFS中，其中在里边都要显示指定mysql数据库的

用户名和的，安全性做的不是太完善。在sqoop2中，如果是通过CLI

方式的话，会有一个交互过程界面，你输入的信息不被看到。下图是

sqoop1和sqoop2简单架构对比：

[Metadata存数据connector负责连接]

(2)sqoop2部署步骤

1、sqoop-1.99.x版本的sqoop，并进行解压。

2、配置好SQOOP_HOME等环境变量，并用source是~/.bash_profile文件即时

生效。

3、配置sqoopserver

修改$SQOOP_HOME/server/conf/catalina.properties，修改

common.loader属性，加入hadoop2.x的各种lib包，具体指向路径为

$HADOOP_HOME/share/hadoop/common/*.jar，

$HADOOP_HOME/share/hadoop/common/lib/*.jar，

$HADOOP_HOME/share/hadoop/yarn/*.jar，

$HADOOP_HOME/share/hadoop/hdfs/*.jar，

$HADOOP_HOME,/share/hadoop/mapreduce/*.jar，没有路径用逗号分开。另外，

在$SQOOP_HOME中建个文件夹例如hadoop_lib，然后将这些jar包cp到此文件

夹中，最后将此文件夹路径添加到common.loader属性中，这种方法更加直观些。

修改$SQOOP_HOME/server/conf/sqoop.properties，修改

org.apache.sqoop.submission.engine.mapreduce.configuration.directory

属性值为$HADOOP_HOME/etc/hadoop。