hadoop技术课程资源教学ppt sqoop1.pptx

;提纲; Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(Mysql、Postgresql...)间进行数据的传递，可以将一个关系 型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速 的迭代开发，Sqoop独立成为一个Apache项目。目前主要有Sqoop1 和 Sqoop2 两大版本。 ; Sqoop1 和 Sqoop2 结构图。左图是Sqoop1 架构，右图是Sqoop2 架构;Sqoop版本区别; Sqoop2和Sqoop1的功能性对比 ;Sqoop版本区别;Sqoop的用途;提纲;环境软件准备： 1：Centos 6.8虚拟机 2：含有导入数据的Mysql数据库 3：Sqoop 安装包 下载地址： /apache/sqoop/; 配置环境变量加入Sqoop的安装路径: 1、进入存放sqoop-1.4.7.tar.gz安装的目录执行下面的命令 sudo tar -zxvf /home/thinkgamer/下载/sqoop-1.4.7.tar.gz –C sudo mv sqoop-1.4.7/ sqoop 2、编辑/etc/profile文件，声明Sqoop的home路径和在path加入bin的路径： vi /etc/profile 在文件最底部添加以下内容并保存： export SQOOP_HOME=/app/sqoop export PATH=$PATH:$SQOOP_HOME/bin 编译配置文件/etc/profile，并确认生效： source /etc/profile echo $PATH ;进入到Sqoop配置文件目录: 1、在$SQOOP_HOME/conf 下复制改名sqoop-env.sh.template为sqoop-env.sh，修改conf/ flume-env.sh配置文件 cd /app/sqoop-1.4.7/conf cp sqoop-env.sh.template sqoop-env.sh sudo vi sqoop-env.sh 2、在文件的最底部加入 ： export HIVE_CONF_DIR=/app/hive/conf ;配置Mysql的驱动: 1、将Mysql驱动放到Sqoop安装路径的lib目录下 sudo cp /opt/hadoop-package/mysql-connector-java-5.1.32.jar /opt/sqoop-1.4.7/lib/ 安装验证： 1、执行sqoop help查看帮助，进行验证安装结果Sqoop安装成功连接Mysql查看 2、在flume的安装目录/sqoop-1.4.7下运行 cd /app/sqoop-1.4.7/conf [root@hadoop conf]# sqoop list-databases --connect jdbc:mysql://localhost:3306 --username root –password root ;提纲;1、先在本地Mysql数据库中创建emp表 并插入数据。 语法命令： CREATE TABLE `emp` ( `id` int(10) NOT NULL AUTO_INCREMENT, `name` varchar(255) DEFAULT NULL, `deg` varchar(255) DEFAULT NULL, `salary` decimal(11,0) DEFAULT NULL, `dept` varchar(255) DEFAULT NULL,