基于分布式工作流的任务调度服务技术设计与实现.docxVIP

基于分布式工作流的任务调度服务技术设计与实现

摘要

本文选题基于实习过程中参与开发的用于部署大数据计算引擎的系统项目。Flink，Spark等大数据引擎的部署，是各大框架都在攻克的难题。目前Flink计算引擎的部署方式采用轮询的模式来调度任务到节点上执行，不能很好地根据任务实际需求来进行节点选择。存在任务执行时间延长，资源搁置率高等问题。

面对这些问题，本论文的从实习公司的需求出发，结合Google的Borg调度算法与OpenShift系统调度算法的特点，采用FAHP算法实现了一个基于ZRDDS的高可用性，高负载均衡率的任务负载均衡调度系统。本文正文第二章讲述了一个负载均衡调度系统