大数据技术基础及应用实验手册7.Loader数据导入导出实战.pdfVIP

7Loader数据导入导出实战

7.1实验背景

大数据业务中经常涉及数据迁移操作，尤其是关系型数据库与大数据组件间的数

据迁移操作，比如，实现MySql与HDFS/HBase间的数据迁移。Loader基于开源

Sqoop组件1.99.x版本进行了功能增强。它的图形化操作使得数据迁移更加方便

易行。

图：Loader在FusionInsight产品中的位置

7.1.1组件原理

通过MapReduce实现并行执行和容错

Loader通过MapReduce作业实现并行的导入或者导出作业任务，不同类型的导入导

出作业可能只包含Map阶段或者同时Map和Reduce阶段。

Loader同时利用MapReduce实现容错，在作业任务执行失败时，可以重新调度。

数据导入到HBase

1.在MapReduce作业的Map阶段中从外部数据源抽取数据。

2.在MapReduce作业的Reduce阶段中，按Region的个数启动同样个数的Reduce

Task，ReduceTask从Map接收数据，然后按Region生成HFile，存放在HDFS

临时目录中。

3.在MapReduce作业的提交阶段，将HFile从临时目录迁移到HBase目录中。

数据导入HDFS

1.在MapReduce作业的Map阶段中从外部数据源抽取数据，并将数据输出到HDFS

临时目录下（以“输出目录-ldtmp”命名）。

2.在MapReduce作业的提交阶段，将文件从临时目录迁移到输出目录中。

数据导出到关系型数据库

1.在MapReduce作业的Map阶段，从HDFS或者HBase中抽取数据，然后将数据

通过JDBC接口插入到临时表（StagingTable）中。

2.在MapReduce作业的提交阶段，将数据从临时表迁移到正式表中。

数据导出到文件系统

1.在MapReduce作业的Map阶段，从HDFS或者HBase中抽取数据，然后将数据

写入到文件服务器临时目录中。

2.在MapReduce作业的提交阶段，将文件从临时目录迁移到正式目录中。

7.2实验目的

掌握Loader的使用，能够在业务场景中实现数据迁移操作。

7.3实验前提

实验环境创建成功后，请等待1-2分钟，后台在执行start-oms.sh脚本：

1.执行sh${BIGDATA_HOME}/om-server/om/sbin/status-oms.sh命令查看

OMS的状态，显示信息表示主备OMS服务启动正常再执行下一步。

2.在windows-client打开GoogleChrome浏览器登录FusionInsightManager

地址（00:8080/web）。

3.用户名admin，密码Huawei!@34（如原密码过期，则自行修改密码）

4.登录FusionInsightManager后，单击“服务管理”，选择“更多操作启动集

群”。

5.在弹出的提示框中单击“确定”，开始启动集群。界面提示“操作成功。”，单击“完

成”，集群成功启动。

6.使用SecureCRT工具登录到fihsots-1节点上，接下来进行环境变量设置与

用户认证。

cd/opt/hadoopclient/切换到客户端安装目录。

sourcebigdata_env配置环境变量。

kinituser01进行用户