CN115168037B 一种流任务和批任务一体化的分布式任务调度方法及系统 （湖南兴盛优选电子商务有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115168037B(45)授权公告日2025.07.08

(21)申请号202210781586.4

(22)申请日2022.07.04

(65)同一申请的已公布的文献号申请公布号CN115168037A

(43)申请公布日2022.10.11

(73)专利权人湖南兴盛优选电子商务有限公司地址410205湖南省长沙市长沙高新开发

区青山路662号芯城科技园1号栋801室

(51)Int.CI.

GO6F9/50(2006.01)

(56)对比文件

CN109408212A,2019.03.01CN112860405A,2021.05.28审查员李艳军

(72)发明人陈奉刚林庭毅管贤春屈军贺年春

(74)专利代理机构长沙大珂知识产权代理事务所(普通合伙)43236

专利代理师姚弘奕

权利要求书2页说明书6页附图4页

(54)发明名称

一种流任务和批任务一体化的分布式任务调度方法及系统

(57)摘要

CN115168037B本发明公开了一种流任务和批任务一体化的分布式任务调度方法，包括：Master节点和Worker节点注册；主和备Master孵化任务，分发任务，Master节点孵化出具体实例和任务实例，然后根据任务依赖关系，依次将任务实例分发给Worker节点；Worker节点收到消息后，将任务进行分类，通过本地任务线程池和远端任务线程池进行管理；当远端任务提交后，将远端任务转移到任务状态监测队列，从而释放任务提交线程，提升任务提交的并行度；在状态检查流程中，采用任务定时汇报机制，另外使用少量线程扫描防任务突发故障而来不及汇报状态情况。本发明不

CN115168037B

初始化

初始化

提交

提交

未完成更新检查时间

任务状态Yarn

处理

更新扫描结果

多周期未收到状态检查线程池一状态更新扫描

完成，更新数据库，并发送消息给master

该任务批任务

任务队列

提交Task

线程池

线程

yarn

CN115168037B权利要求书1/2页

2

1.一种流任务和批任务一体化的分布式任务调度方法，其特征在于，所述调度方法包括以下步骤：

系统启动时Master节点和Worker向Zookeeper进行注册，Master节点之间通过Zookeeper选出主Master;

主和备Master孵化任务，分发任务，用户创建DAG后，Master节点将DAG孵化出具体DAG实例和任务实例，然后根据任务依赖关系，离线任务可以不停探测检查流任务的数据处理时间，达到特定条件时触发离线任务的调度，从而实现流批任务的依赖建立，将流任务和批任务进行统一管理后，批任务持续探测检查流任务的数据处理时间，达到特定条件时触发批任务的调度，依次将任务实例分发给Worker节点；

Worker节点收到消息后，将任务进行分类，通过本地任务线程池和远端任务线程池进行管理；

当远端任务提交后，将远端任务转移到任务状态监测队列，从而释放任务提交线程，提升任务提交的并行度；

在状态检查流程中，采用主动汇报模式和防故障定时机制，即在任务中启动一个线程，定时向Worker汇报一次状态，将长时间的任务状态监控过程转化为队列里的一条记录和周期性消息，Yarn集群故障情况下，Worker节点如果多个周期未收到任务状态消息，进行一次扫描，判断任务的状态，共用少量线程完成大量任务的检查。

2.根据权利要求1所述的流任务和批任务一体化的分布式任务调度方法，其特征在于，所述任务包括Yarn的Spark任务或Flink任务，或Mapreduce任务。

3.根据权利要求2所述的流任务和批任务一体化的分布式任务调度方法，其特征在于，当流任务基于时间分区处理数据时，使用分区探测算子检测流任务的数据处理时间，所述特定条件包括：下一个分区已经生成且当前分区多个周期内数据未发生变化。

4.根据权利要求3所述的流任务和批任务一体化的分布式任务调度方法，其特征在于，当流任务不是基于时间分区处理数据时，要求流任务周期性地将当前处理的数据时间位置写入数据库，时间探测算子通过所述数据时间来判断流的业务处理时间，触发批任务的运行。

5.根据权利要求4所述的流任务和批任务一体化的分布式任务调度方法，其特