Azkaban批量工作流任务调度器安装部署及应用案例.pdfVIP

1阿兹卡班

1.1安装部署阿兹卡班

在大数据业务处理场景中，经常有这样的分析场景：

一个任务：将收集的数据通过一系列的规则进行，然后存入Hive表a中。

任务:将Hive中已存在的表b和表c进行关联得到表d。

C任务：将A任务中得到的表a与B任务中得到的表d进行关联，得到分析结果表

e。

D任务：最后将Hive中到的表通过Sqoop导入到关系型数据库MySQL中供

得

Web端查询使用。

显然，以上任务C依赖于任务A与任务B的结果，任务D依赖于任务C的结果。我

们通常的做法是打开两个终端分别执行任务A与任务B，当任务A与任务B执行完成后，

再执行任务C；当任务C执行完成后，再执行任务D。整个任务流程中必须保证任务A和

任务B执行完成后才能执行任务C，然后执行任务D。这样，每一个环节都离不开人工的

参与，需要时刻关注各任务的执行进度，非常费力。

以上业务场景是一个大的任务，任务中分为四个子任务A、B、C、D。如果有一个任

务调度器能够自动实现执行任务A，执行任务B，然后再执行任务C，最后执行任务D，

那么就不需要人工时刻盯着任务是否执行完成，是否该开启下一个任务。Azkaban就是这

样一个工作流的调度器，可以解决上述场景中的问题。