Azkaban工作流调度器使用指南.pdfVIP

Azkaban

一、为什么需要工作流调度器

Shell/java/mr/hive/python/spark,组成任务单元,单元之间存在先后依赖关系,

工作流调度器便应运而生。

二、例如：

20G数据，每天都要进行如下操作：1.通过

hadoop将原始数据同步到

hdfs中；2.借助

mr对20G的数据进行工作，将生成的数据到

hive

分区表当中；3.对

hive中的多个表数据进行

join处理，将结果到另一个

结果表中；4.对结果表进行统计分析，得出报表数据；5.将分析结果同步到

业务系统中（mysql,sqlserver

等关系型数据库）。特点：每天操作，有先

后顺序。

三、简单的任务调度：直接用Linux中的crontab(分时日月周)定时任务

执行。企业中常用的工作流调度器：Azkaban和Oozie。Azkaban轻量

级，Oozie重量级。

四、部署Azkaban

1.在Windows环境下将azkaban‑3.38.0

解压,并传输到Linux中,/opt目录下

2.查询如下路径,并修改vim

文档[root@master

opt]#

cd

azkaban‑3.38.0/azkaban‑web‑server/conf[root

@master

conf]#

vim

azkaban.proper