CN120256070A 一种混合处理海量离线数据和海量实时数据的系统及方法 （北京流金岁月科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120256070A(43)申请公布日2025.07.04

(21)申请号202510741040.X

(22)申请日2025.06.05

(71)申请人北京流金岁月科技有限公司

地址100041北京市石景山区和平西路60

号院1号楼B座1801

(72)发明人宁黎

(74)专利代理机构北京星通盈泰知识产权代理有限公司11952

专利代理师吴静

(51)Int.CI.

GO6F9/48(2006.01)

GO6F9/50(2006.01)

权利要求书3页说明书10页附图2页

(54)发明名称

一种混合处理海量离线数据和海量实时数据的系统及方法

(57)摘要

CN120256070A本发明涉及电数据处理技术领域，公开了一种混合处理海量离线数据和海量实时数据的系统及方法，其系统包括：队列管理模块接收任务请求，识别并标注任务类型，将任务分配到流处理队列或批处理队列，并按优先级排序，任务类型包括流任务和批任务；线程池管理模块建立线程池，按优先级依次处理任务并采集实时参数；计算模块负责计算任务优先级及基于实时参数计算任务抖动因子；调度决策模块根据任务抖动因子与参考值比较，确定权重调整系数，修正优先级并制定调度策略；告警模块判断是否触发警报。本发明通过引入抖动因子驱动的动态优先级

CN120256070A

混合处理海量离线数据

混合处理海量离线数据和海量实时数据的系统

队列管理模块

线程池管理模块

计算模块

调度决策模块

告警模块

CN120256070A权利要求书1/3页

2

1.一种混合处理海量离线数据和海量实时数据的系统，其特征在于，包括：

队列管理模块，被配置为接收任务请求，识别任务类型并进行标注，根据标注结果，将任务分配至流处理队列与批处理队列，再根据优先级对任务进行排序；所述任务类型包括流任务与批任务；

线程池管理模块，被配置为建立流任务线程池与批任务线程池，根据优先级依序对任务进行处理，并且采集实时参数；

计算模块，分别与所述队列管理模块、线程池管理模块连接，所述计算模块被配置为计算优先级，以及根据实时参数计算任务抖动因子；

调度决策模块，被配置为根据所述任务抖动因子与抖动参考值的大小关系，确定权重调整系数，根据权重调整系数对优先级进行修正以及根据修正后的优先级确定调度策略；

告警模块，被配置为根据所述实时参数与对应的阈值范围进行对比，判断是否发出警

报。

2.根据权利要求1所述的混合处理海量离线数据和海量实时数据的系统，其特征在于，所述优先级通过以下关系计算获取：

其中，Ptask为任务的优先级，A为任务等待时间，B为任务类型对应的常数值，C为SLA协议中约定时间的剩余值，C?为SLA协议中约定时间，D为任务失败重试次数，n为常数，n取[1,3],W1、W?、W3与W4表示初始权重系数，w?+W?+w?+w?=1;

当所述计算模块得到所述优先级后，所述队列管理模块分别将所述流处理队列与批处理队列中的任务根据所述优先级进行排序。

3.根据权利要求2所述的混合处理海量离线数据和海量实时数据的系统，其特征在于，所述实时参数包括：任务当前延迟与历史延迟、线程池资源使用状态与任务的优先级变化趋势，所述任务抖动因子通过以下关系计算获取：

其中，J为任务抖动因子，D为第T批实时数据中的当前延迟，Davg为共T批实时数据中的当前延迟平均值，E为当前线程池资源利用异常项，P为第i批的历史任务抖动因子，i≥3,U为当前线程池占用率，Uth为当前线程池使用率的异常阈值，Uth=0.85,a为折算系数，表示异常程度的敏感性，λ1、λ2、λ3与λ4依次为第一至第四抖动调整系数，λ1+λ2+λ?+λ4=1。

4.根据权利要求3所述的混合处理海量离线数据和海量实时数据的系统，其特征在于，根据所述任务抖动因子与抖动参考值的大小关系，确定权重调整系数包括：

CN120256070A权利要求书2/3页

3

计算任务抖动因子与抖动参考值的差值以及任务抖动因子与抖动参考值的比值，所述权重调整系数满足以下关系：

其中，W为权重调整系数，Jref为