CN120234116A 任务调度方法、装置、设备、存储介质及产品 （中移动信息技术有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120234116A(43)申请公布日2025.07.01

(21)申请号202510315434.9

(22)申请日2025.03.17

(71)申请人中移动信息技术有限公司

地址102200北京市昌平区未来科学城英

才北三街16号院16号楼1006室申请人中国移动通信集团有限公司

(72)发明人赵永刚黄岩滕滨顾荣高畅

唐纪龙

GO6N

GO6N

3/048(2023.01)

3/08(2023.01)

(74)专利代理机构深圳市世纪恒程知识产权代

理事务所44287专利代理师胡海国

(51)Int.CI.

GO6F9/48(2006.01)

GO6F9/50(2006.01)

GO6N3/0464(2023.01)

权利要求书3页说明书13页附图2页

(54)发明名称

任务调度方法、装置、设备、存储介质及产品

(57)摘要

CN120234116A本申请公开了一种任务调度方法、装置、设备、存储介质及产品，涉及人工智能技术领域。本申请将大模型拆分为多个子任务，并实时对算力需求进行量化，结合各神经网络处理器节点的算力评估信息，计算可调度任务与各个神经网络处理器节点的匹配得分，将调度队列中优先级最高的可调度任务分配至匹配得分最高的神经网络处理器节点中，通过循环执行，从而对不同大模型的各子任务进行合理分配；另外，基于调度策略为调度队列中的多个待调度子任务分配优先级并通过贪心算法进行调度，能够保证每次的调度行为均为实时的最优调度方案，从而解决了如

CN120234116A

问题。

基于调度队列中各可调度任务对应的算力需求以及

基于调度队列中各可调度任务对应的算力需求以及

各神经网络处理器节点的当前算力评估信息，确定

各神经网络处理器节点分别与各可调度任务的匹配

得分

S120

将优先级最高的可调度任务分配至对应的匹配得分最高的神经网络处理器节点，更新调度队列

S130

否

调度队列是否为空

是

结束

S110

CN120234116A权利要求书1/3页

2

1.一种任务调度方法，其特征在于，所述任务调度方法包括：

基于调度队列中各可调度任务对应的算力需求以及各神经网络处理器节点的当前算力评估信息，确定各所述神经网络处理器节点分别与各所述可调度任务的匹配得分；所述调度队列包括多个待调度大模型中执行状态为准备就绪的多个子任务，所述子任务为一所述待调度大模型的一层架构层所执行的计算任务；

将优先级最高的所述可调度任务分配至对应的匹配得分最高的神经网络处理器节点，更新所述调度队列，其中，各所述可调度任务的优先级基于预设调度策略确定；

响应于所述调度队列的更新，返回执行所述基于调度队列中各可调度任务对应的算力需求以及各神经网络处理器节点的当前算力评估信息，确定各所述神经网络处理器节点分别与各所述可调度任务的匹配得分的步骤，直至所述调度队列为空。

2.如权利要求1所述的任务调度方法，其特征在于，所述基于调度队列中各可调度任务对应的算力需求以及各神经网络处理器节点的当前算力评估信息，确定各所述神经网络处理器节点分别与各所述可调度任务的匹配得分之前，所述方法还包括：

针对各所述神经网络处理器节点，获取所述神经网络处理器节点的硬件算力数据、性能测试数据以及硬件负载数据；

针对各所述神经网络处理器节点，根据所述神经网络处理器节点的硬件算力数据、性能数据以及硬件负载数据，得到所述神经网络处理器节点的响应时间、吞吐量以及利用率，作为所述神经网络处理器节点的当前算力评估信息。

3.如权利要求2所述的任务调度方法，其特征在于，所述基于调度队列中各可调度任务对应的算力需求以及各神经网络处理器节点的当前算力评估信息，确定各所述神经网络处理器节点分别与各所述可调度任务的匹配得分，包括：

针对任一个所述神经网络处理器节点以及任一个所述可调度任务，通过表达式一计算对应的剩余容量；

基于所述剩余容量、所述运算量以及所述内存需求，通过表达式二计算所述匹配得分；表达式一为：

RCj=Cj+(1-Uj)

表达式二为：

RMij=RCj/(Wnpu*0Ci+Wmem*RCi)

其中，Cj为第j