《Hadoop大数据原理与应用实验教程》实验指导书-实验8实战Sqoop.docVIP

实验8实战Sqoop

本实验的知识地图如图8-1所示(★表示重点P表示难点)。

1.熟练掌握Linux基本命令

1.熟练掌握Linux基本命令

2.掌握Java编程

3.熟练掌握关系型数据库如MySQL基本操作

先修技能

4.熟练掌握Hadoop集群、HBase、Hive的基本使用

5.理解Sqoop基础知识：功能、版本、体系架构、运行环境、配置文件、Sqoop接口等

规划Sqoop:节点、IP地址、运行服务、软硬件配置

1.规划安装软件选择：虚拟机工具、Linux操作系统、Java.Hadoop.

ZooKeeper、HBase、MySQL,Hive、Sqoop、Eclipse

获取Sqoop

安装Sqoop

sqoop-env.sh:HADOOP_COMMON_HOME

★配置SqoopHADOOP_MAPRED_HOME等

★添加UDBC驱动

设置$SQ00P_HOME目录属主

在系统配置文件目录/etc/profile.d下新建sqoop.sh

3.验证Sqoop

简单命令：sqooplist,sqoopeval等下导入命令：sqoopimport

下导出命令：sqoopexportsqoop-options-file

sqoopjob

★重点：安装和配置Sqoop,使用SqoopShell

实验重点难点

实战Sqoop实验步骤

卜难点：使用SqoopShell之导入、导出命令

★4.便用SqoopShell

★2.安装和配置Sqoop

图8-1实验8实战Sqoop知识地图

一、实验目的

1.了解Sqoop的功能、版本。

2.理解Sqoop的体系架构。

3.熟练掌握Sqoop的安装。

4.熟练掌握SqoopShell常用命令的使用。

5.了解SqoopAPI编程。

二、实验环境

本实验所需的软件环境包括CentOS、OracleJDK1.6+、全分布模式Hadoop集群、MySQL、

HBase、Hive、Sqoop1安装包、Eclipse。

三、实验内容

1.规划安装。

2.安装和配置Sqoop3.验证Sqoop。

4.使用SqoopShell完成数据从关系数据库(Oracle、MySQL、PostgreSQL等)到Hadoop(HDFS/Hive/HBase)的导入和导出。

四、实验原理

ApacheSqoop是一个开源的基于Hadoop的数据迁移工具，是Apache的顶级项目，主要用于在Hadoop和结构化存储器之间传递数据，Sqoop即SQL-to-Hadoop。

(一)初识Sqoop

1.Sqoop概述

Hadoop平台的最大优势在于它支持使用不同形式的数据。HDFS能够可靠地存储日志和来自不同渠道的其它数据，MapReduce程序能够解析多种特定的数据格式，抽取相关信息并将多个数据集组合成有用的结果。

但是为了能够和HDFS之外的数据存储库进行交互，必须通过开发MapReduce应用程序使用外部API来访问数据，但是每次都需要编写MapReduce程序，非常麻烦。在没有出现Sqoop之前，实际生产中有许多类似的需求，都需要通过编写MapReduce程序然后形成一个工具去解决，后来慢慢就将该工具代码整理出一个框架并逐步完善，最终就有了Sqoop的诞生。

ApacheSqoop是一个开源工具，主要用于在Hadoop和关系数据库、数据仓库、NoSQL之间传递数据。通过Sqoop,可以方便地将数据从关系数据库(Oracle、MySQL、PostgreSQL等)导入到Hadoop(HDFS/Hive/HBase),用于进一步的处理，一旦生成最终的分析结果，便可以再将这些结果导出到结构化数据存储如关系数据库中，供其他客户端使用。使用Sqoop导入导出数据的处理流程如图8-2所示。

Sqoop工具

Import

RDBMS

(MySQL、Oracle、Postgresql、DB2...)

Hadoop

(HDFS、Hive

HBase)

Export

图8-2Sqoop工作流程

Sqoop是连接传统关系型数据库和Hadoop的桥梁，它不需要开发人员编写MapReduce程序，只需要编写简单的配置脚本即可，大大提升了开发效率。

Sqoop核心设计思想是利用MapReduce加快数