oozie使用手册.docxVIP

Author：路帅中软国际大数据平台研发部大数据处理工作流调度系统OOZIE及相关产品介绍Oozie概述??? Oozie是一个开源的工作流调度系统，它能够管理逻辑复杂的多个Hadoop作业，按照指定的顺序将其协同运行起来。例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下所示：通过Hadoop先将原始数据同步到HDFS上；借助MapReduce计算框架对原始数据进行转换，生成的数据以分区表的形式存储到多张Hive表中；需要对Hive中多个表的数据进行JOIN处理，得到一个明细数据Hive大表；将明细数据进行复杂的统计分析，得到排序后的报表信息；需要将统计分析得到的结果数据同步到业务系统中，供业务调用使用。上述过程可以通过工作流系统来编排任务，最终生成一个工作流实例，然后每天定时启动运行这个实例即可。在这种依赖于Hadoop存储和处理能力要求的应用场景下，Oozie可能能够简化任务调度和执行。工作流引擎 顺序运行一组Hadoop作业任务 有向无环图 DAG (Direct Acyclic Graph) Workflow 1:1 Coordinator n:1 Bundle Coordinator可触发执行，可类似cron job方式执行，时间轮循只支持UTC时间 XML作为工作流描述语言 hPDL (Process Definition Language) 类似JBoss jBPM中使用的 jPDL Control Flow Nodes 控制流程的执行路径: start, end, fail / kill, decision, fork-join Action Nodes: HDFS, MapReduce, Pig, Hive, Sqoop, Java, SSH, E-Mail, Sub-Workflow (mkdir, delete, move, chmod, touchz, DistCp) 信息存放在数据库中 derby / mysql Oozie安装部署这里以CentOS 6.5系统下安装Oozie-3.3.2，需要安装相关的依赖软件包，下面我们一步一步地进行安装，包括安装配置依赖软件包。这里，我们使用MySQL数据库存储Oozie数据，Hadoop使用的是1.2.1版本。安装Oozie ServerOozie Server可以为我们提供很多管理Job的便捷功能，比如，通过可视化界面去管理Job的运行状态，同时也支持我构建含有多个复杂Hadoop Job流程，各个Job之间的依赖关系完全可以通过一个工作流配置文件组装起来，然后由Oozie Server其管理执行。安装Maven构建工具 安装maven并加入环境变量，配置maven资源库和镜像地址安装MySQL数据库sudo rpm -e --nodeps mysqlyum list | grep mysqlsudo yum install -y mysql-server mysql mysql-deve安装MySQL数据库，执行如下命令：sudo rpm -e --nodeps mysqlyum list | grep mysqlsudo yum install -y mysql-server mysql mysql-deve为root用户设置密码： mysqladmin -u root password?oozie然后可以使用root账号登录MySQL数据库，进行管理：mysql -u root -p输入密码登录成功。如果使用MySQL存储Oozie数据，需要将MySQL的驱动程序拷贝到Tomcat安装目录下，亦即$CATALINA_HOME/lib下面。下载ExtJS压缩包wget? HYPERLINK /deploy/ext-2.2.zip /deploy/ext-2.2.zip安装Ooziewget /apache/oozie/3.3.2/oozie-3.3.2.tar.gztar xvzf oozie-3.3.2.tar.gzcd oozie-3.3.2bin/mkdistro.sh –DskipTests这个过程会下载依赖包，可能要等待一段时间，构建成后，可以在oozie-3.3.2/distro/target目录下看到构建后的文件，例如路径是/home /oozie-3.3.2/distro/target/oozie-3.3.2-distro/oozie-3.3.2，内容如下所示：[root@oozie-server oozie-3.3.2]$ pwd/home/oozie-3.3.2/distro/target/oozie-3.3.2-distro/oozie-3.3