承载每天10万级任务的数据调度系统的架构设计.docx

? ? 承载每天10万级任务的数据调度系统的架构是如何设计的 ? ? 消息：分布式工作流任务调度系统Apache DolphinScheduler开源地址：/apache/incubator-dolphinscheduler , 欢迎感兴趣的伙伴参与！谢谢！ 部署了一个单机版本的demo，想体验的伙伴，请访问 94:8888 ！ 承载每天10万级任务量的大数据任务调度系统架构设计 导语 DolphinScheduler(原EasyScheduler，海豚调度)是易观数据平台研发的大数据分布式调度系统。主要解决数据处理中错综复杂的依赖关系，而不能直观监控任务健康状态等问题。本文还以EasyScheduler代称，EasyScheduler以DAG流式的方式将Task组装起来，可实时监控任务的运行状态，同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作 背景 任务调度系统在大数据平台当中是一个核心的基础设施，由于数据处理流程常常具有很长的依赖链条，因此依赖单机的crontab等单纯依赖时间调度的方式，往往存在很大的弊端，如依赖不清晰，出错难以查找等问题，因此，我们调研了市面上流行的调度系统： 鉴于易观日处理数据30多TB，复杂的ETL依赖关系、易用性、可维护性及方便二次开发等综合原因，我们开发了自己的大数据分布式调度系统 Easy Scheduler。 其主要目标如下：