CN119883580B 基于大数据的任务调度优化分析方法及系统 （潍坊科技学院）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN119883580B(45)授权公告日2025.07.08

(21)申请号202510387541.2

(22)申请日2025.03.31

(65)同一申请的已公布的文献号申请公布号CN119883580A

(43)申请公布日2025.04.25

(73)专利权人潍坊科技学院

地址262700山东省潍坊市寿光市金光街

1299号

(72)发明人杨选姚荣菊李德娟

(74)专利代理机构山东重诺律师事务所37228专利代理师王鹏里

(51)Int.CI.

(56)对比文件

CN116909712A,2023.10.20CN104168318A,2014.11.26审查员刘启军

GO6F9/48(2006.01)

GO6F9/50(2006.01)

权利要求书3页说明书16页附图3页

(54)发明名称

基于大数据的任务调度优化分析方法及系

统

(57)摘要

CN119883580B本发明涉及计算机技术领域，尤其涉及一种基于大数据的任务调度优化分析方法及系统。所述方法包括以下步骤：通过在服务器、存储设备以及客户端之间对应的分布式大数据处理场景中实时采集任务相关数据、任务系统资源使用数据以及任务执行状态数据；利用Hadoop分布式框架进行大数据特征挖掘分析和任务调度聚类分析，生成具有相似资源需求对应的任务调度簇组；对分布式大数据处理场景对应的任务计算节点进行剩余执行时长计算和任务紧急核算，得到任务节点调度紧急程度；对相对应的任务计算节点进行调度优先级确定和任务调度优化分析，以

CN119883580B

通过在服务器、存储设备以及客户端之间对应的

通过在服务器、存储设备以及客户端之间对应的分布式大数据处理场景中实时采集任务相关数据，其中包括任务提交时间、任务截止时间、任务类型以及任务资源需求：基于任务资源需求对分布式大数据处理场景对应的任务计算节点进行系统资源使用计算，得到任务系统资源使用数据：对分布式大数据处理场景对应的任务计算节点进行任务状态测量，得到任务执行状态数据，其中包括任务执行时长、任务资源实际使用量以及任务完成状态

利用Hadoop分布式框架对任务相关数据、任务系统资源使用数据以及任务执行状态数据进行大数据特征挖据分析，以得到分布式任务大数据特征集；基于分布式任务大数据特征集对相对应的任务计算节点进行任务调度聚类分析，生成具有相似资源需求对应的任务调度簇组

基于任务执行时长以及任务资源实际使用量对分布式大数据处理场景对应的任务计算节点进行剩余执行时长计算，以得到任务剩余执行计算时长：基于任务截止时间以及任务剩余执行计算时长对相对应的任务计算节点进行任务紧急核算，得到任务节点调度紧急程度

根据任务节点调度紧急程度对相对应的任务计算节点进行调度优先级确定，以得到任务节点调度优先级：基于任务节点调度优先级对具有相似资源需求对应的任务调度族组进行任务调度优化分析，以生成任务动态优化调度方案

CN119883580B权利要求书1/3页

2

1.一种基于大数据的任务调度优化分析方法，其特征在于，包括以下步骤：

步骤S1:通过在服务器、存储设备以及客户端之间对应的分布式大数据处理场景中实时采集任务相关数据，其中包括任务提交时间、任务截止时间、任务类型以及任务资源需求；基于任务资源需求对分布式大数据处理场景对应的任务计算节点进行系统资源使用计算，得到任务系统资源使用数据；对分布式大数据处理场景对应的任务计算节点进行任务状态测量，得到任务执行状态数据，其中包括任务执行时长、任务资源实际使用量以及任务完成状态；

步骤S2:利用Hadoop分布式框架对任务相关数据、任务系统资源使用数据以及任务执行状态数据进行大数据特征挖掘分析，以得到分布式任务大数据特征集；基于分布式任务大数据特征集对相对应的任务计算节点进行任务调度聚类分析，生成具有相似资源需求对应的任务调度簇组；

步骤S3:基于任务执行时长以及任务资源实际使用量对分布式大数据处理场景对应的任务计算节点进行剩余执行时长计算，以得到任务剩余执行计算时长；基于任务截止时间以及任务剩余执行计算时长对相对应的任务计算节点进行任务紧急核算，得到任务节点调度紧急程度；其中，步骤S3包括以下步骤：

步骤