大数据技术基础及应用实验手册11.Oozie任务调度实战.pdfVIP

11Oozie任务调度实战

11.1实验背景

Oozie是一个基于工作流引擎的开源框架，能够提供对Hadoop作业的任务调度与协调。

Oozie支持提交多种类型任务，例如Hive、Spark、Loader、Mapreduce、Java、DistCp、

Shell、HDFS、SSH、SubWorkflow、Streaming、定时任务等。

11.2实验目的

掌握Oozie常用操作。

11.3实验前提

实验环境创建成功后，请等待1-2分钟，后台在执行start-oms.sh脚本：

1.执行sh${BIGDATA_HOME}/om-server/om/sbin/status-oms.sh命令查看

OMS的状态，显示信息表示主备OMS服务启动正常再执行下一步。

2.在windows-client打开GoogleChrome浏览器登录FusionInsight

Manager地址（00:8080/web）。

3.登录FusionInsightManager后，单击“服务管理”，选择“更多操作

启动集群”。

4.在弹出的提示框中单击“确定”，开始启动集群。界面提示“操作成功。”，

单击“完成”，集群成功启动。

5.使用SecureCRT工具登录到fihsots-1节点上，接下来进行环境变量设

置与用户认证。

cd/opt/hadoopclient/切换到客户端安装目录。

sourcebigdata_env配置环境变量。

kinituser01进行用户认证，输入用户密码

客户端文件安装于fihosts-1服务器的/opt/hadoopclient目录中，认证用

户user01，密码Huawei!@34

11.4实验任务

11.4.1使用Oozie客户端

步骤1使用客户端

1.使用PuTTY工具，以客户端安装用户，登录安装客户端的节点。

2.执行以下命令，切换到客户端安装目录。

cd/opt/hadoopclient

3.执行以下命令配置环境变量。

sourcebigdata_env

4.判断集群认证模式。

kinit组件业务用户

步骤2配置Hue

拷贝Oozie客户端配置文件：

cp/opt/hadoopclient/Oozie/oozie-client-4.2.0/conf/hive-site.xml

/opt/hadoopclient/Oozie/oozie-client-4.2.0/examples/apps/hive

cp/opt/hadoopclient/Oozie/oozie-client-4.2.0/conf/hive-site.xml

/opt/hadoopclient/Oozie/oozie-client-4.2.0/examples/apps/hive2

上传Oozie配置文件以及Jar包至HDFS：

hdfsdfs-mkdir/user/exampleUser

hdfsdfs-put-f/opt/hadoopclient/Oozie/oozie-client-4.2.0/examples

/user/exampleUser/

hdfsdfs-put-f/opt/hadoopclient/Oozie/oozie-client-4.2.0/share/lib

/user/oozie/share/

注：“exampleUser”为提交任务的人机用户名。

上传Oozie配置文件上传完成后建议重启Oozie服务

11.4.2Oozie提交Loader作业

步骤1创建Oozie工作流

用户通过Hue管理界面可以进行