调度系统 Azkaban、XxlJob与Airflow对比分析.docxVIP

调度系统 | Azkaban、Xxl-Job与Airflow对比分析 简述 XXL-JOB是一个国内轻量级分布式任务调度平台，其核心设计目标是开发快速、学习简约、轻量级、易扩展。基于Java技术栈，调度中心与执行器通信基于作者另一个开源项目xxl-rpc，接受自建注册中心，全体架构简约明白，易于上手。 xxl-job架构图 图片来源: /xxl-job/#/?id=_533-架构图 项目地址 Github：xuxueli/xxl-job Azkaban 简述 Azkaban为LinkedIn开源的分布式工作流调度框架，项目起源于处理Hadoop Jop依靠管理问题，但实际已经是一个通用的工作流调度框架，适用于不同业务场景。 图片来源： /azkaban/azkaban/blob/master/docs/figures/azkaban2overviewdesign.png 项目地址 Github：azkaban/azkaban Airflow 简述 Apache-Airflow 是Airbnb开源的一款数据流程工具，已经在Apache孵化成功，成为Apache的顶级项目。以格外机警的方式来支持数据的ETL过程，同时还支持格外多的插件来完成诸如HDFS监控、邮件通知等功能。Airflow支持单机和分布式两种模式，支持Master-Slave模式，支持Mesos等资源调度，有格外好的扩展