CN119917270B 一种算力集群的动态数据调度方法及系统 （领航智慧数科(北京)科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN119917270B(45)授权公告日2025.07.04

(21)申请号202411976881.0

(22)申请日2024.12.31

(65)同一申请的已公布的文献号申请公布号CN119917270A

(43)申请公布日2025.05.02

(73)专利权人领航智慧数科(北京)科技有限公

司

地址100621北京市朝阳区朝外大街乙12

号办公楼9层0-1008

(72)发明人鲁欢高岩朱丽影荣华刘蒲楠王启华

(51)Int.CI.

GO6F9/50(2006.01)

(56)对比文件

WO2024078203A1,2024.04.18

CN117687774A,2024.03.12审查员杨越松

权利要求书2页说明书11页附图2页

(54)发明名称

一种算力集群的动态数据调度方法及系统

(57)摘要

CN119917270B本发明公开了一种算力集群的动态数据调度方法及系统，属于计算机科学与技术领域，方法包括：读取算力集群的节点资源，并同步获取任务规模，动态粒度分配网络初始化后，确定拆分粒度；根据拆分粒度进行任务拆分，配置任务优先级；通过预测模型进行算力集群中每个节点进行负载和任务执行结束的预测；根据预测结果进行M个子任务的资源适配寻优；建立动态优化通道，进行初始分配结果的动态优化，基于任务优先级进行任务抢占优化；进行算力集群的动态数据调度管理。本申请解决了现有技术中算力集群在动态负载和任务规模变化情况下，资源调度

CN119917270B

读取算力集群的节点资源，并同步获取任务规模，根据所述

节点资源和所述任务规模进行动态粒度分配网络初始化后，

确定拆分粒度

根据所述拆分粒度进行任务拆分，建立M个子任务，配置M个子任务的任务优先级

通过预测模型进行算力集群中每个节点进行负载和任务执行结束的预测，建立预测结果

根据所述预测结果进行M个子任务的资源适配寻优，建立初始分配结果

建立动态优化通道，通过所述动态优化通道进行所述初始分

配结果的动态优化，建立动态优化结果，所述动态优化包括

基于所述任务优先级进行任务抢占优化

根据所述动态优化结果进行算力集群的动态数据调度管理

S200

-S300

S400

-S600

CN119917270B权利要求书1/2页

2

1.一种算力集群的动态数据调度方法，其特征在于，所述方法包括：

读取算力集群的节点资源，并同步获取任务规模，根据所述节点资源和所述任务规模进行动态粒度分配网络初始化后，确定拆分粒度，包括：

利用所述动态粒度分配网络的节点特征提取子网络进行所述节点资源的特征提取，建立节点数量特征、节点均衡算力特征，根据所述节点数量特征、所述节点均衡算力特征建立第一拆分粒度约束；

利用所述动态粒度分配网络的任务特征提取子网络进行所述任务规模的特征提取，建立任务拓扑结构特征、任务计算需求特征，根据所述任务拓扑结构特征、所述任务计算需求特征建立第二拆分粒度约束；

根据所述第一拆分粒度约束、所述第二拆分粒度约束确定拆分粒度；

根据所述拆分粒度进行任务拆分，建立M个子任务，配置M个子任务的任务优先级；

通过预测模型进行算力集群中每个节点进行负载和任务执行结束的预测，建立预测结果；

根据所述预测结果进行M个子任务的资源适配寻优，建立初始分配结果；

建立动态优化通道，通过所述动态优化通道进行所述初始分配结果的动态优化，建立动态优化结果，所述动态优化包括基于所述任务优先级进行任务抢占优化，通过所述动态优化通道进行所述初始分配结果的动态优化，建立动态优化结果，包括：

激活动态优化通道内的优先级比对子通道，利用所述优先级比对子通道进行基于所述初始分配结果的子任务优先级比对，所述子任务优先级比对为在执行子任务和初始分配结果下的子任务的优先级比对；

建立优先级异常，所述优先级异常为优先级比对结果满足预设阈值的比对结果，根据所述优先级异常进行迁移代价计算，建立迁移代价计算结果；

根据所述迁移代价计算结果和高优先级子任务的优先结果进行优化判别，若优化判别为通过结果，则执行所述优先级异常的任务抢占优化；

根据所述动态优化结果进行算力集群的动态数据调度管理。

2.如权利要求1所述的一种算力集群的动态数据调度方法，其特征在于，所述方法还包括：激活动态优化通道内的负载均衡子通道，利用所述负载均衡子通道进行基于所述初始分配结果的节点负载均衡分析，