CN112631754B 数据处理方法、装置、存储介质及电子装置 （浙江大华技术股份有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN112631754B

(45)授权公告日2025.01.10

(21)申请号202011602736.8

(22)申请日2020.12.29

(65)同一申请的已公布的文献号申请公布号CN112631754A

(43)申请公布日2021.04.09

(73)专利权人浙江大华技术股份有限公司

地址310051浙江省杭州市滨江区滨安路

1187号

(72)发明人斯奇能

(74)专利代理机构北京康信知识产权代理有限责任公司11240

专利代理师赵静

(51)Int.CI.

GO6F9/48(2006.01)

GO6F16/242(2019.01)

GO6F16/2453(2019.01)

(56)对比文件

CN105930482A,2016.09.07

CN111723249A,2020.09.29

审查员李换

权利要求书3页说明书9页附图3页

(54)发明名称

数据处理方法、装置、存储介质及电子装置

(57)摘要

CN112631754B本发明实施例提供了一种数据处理方法、装置、存储介质及电子装置，其中，该方法包括：基于获取到的任务数据确定处理任务数据所需的目标算子；确定目标算子在对任务数据进行处理时目标算子中所包括的任务数据的数据量；在目标算子中包括的线程的数量与数据量不匹配的情况下，将目标算子中包括的线程的数量调整为与数据量匹配的目标数量；通过目标数量的线程处理任务数据。通过本发明，解决了相关技术中存在的处理数据速度慢的问题，达到提高数据处

CN112631754B

基于获取到的任务数据确定处理所述任务数据所需的目标算子

确定所述目标算子在对所任务数据进行处理时所述目标算子中所包括的所述任务数据的数据量

在所述目标算子中包括的线程的数量与所述数据量

不匹配的情况下，将所述目标算子中包括的线程的

数量调整为与所述数据量匹配的目标数量

通过所述目标数量的所述线程处理所述任务数据

S202

S204

S206

CN112631754B权利要求书1/3页

2

1.一种数据处理方法，其特征在于，包括：

基于获取到的任务数据确定处理所述任务数据所需的目标算子；

确定所述目标算子在对所述任务数据进行处理时所述目标算子中所包括的所述任务数据的数据量；

在所述目标算子中包括的线程的数量与所述数据量不匹配的情况下，将所述目标算子中包括的线程的数量调整为与所述数据量匹配的目标数量；

通过所述目标数量的所述线程处理所述任务数据；

基于获取到的任务数据确定处理所述任务数据所需的目标算子：确定所述任务数据的目标类型；基于所述目标类型确定所述目标算子；基于所述任务数据的目标类型确定所述目标算子，在确定所述目标类型为消息表数据类型的情况下，确定所述目标算子为连接算子；在所述目标算子为连接算子的情况下，通过所述目标数量的所述线程处理所述任务数据包括：通过所述目标数量的所述线程中包括的每个线程执行以下操作：确定每个线程需要处理的所述任务数据中包括的第一消息表中包括对应数据，从所述对应数据中确定出访问量大于第三阈值的第一数据，将所述第一数据存储至主存储器中，将所述对应数据中包括的除所述第一数据之外的数据存储至辅助存储器中；按照预定规则处理存储至所述主存储器中的所述第一数据，以得到第二数据，对所述第二数据与每个线程需要处理的所述任务数据中包括的第二消息表中的第三数据进行处理，以确定第一目标数据。

2.根据权利要求1所述的方法，其特征在于，在所述目标算子中包括的线程的数量与所述数据量不匹配的情况下，将所述目标算子中包括的线程的数量调整为与所述数据量匹配的目标数量包括：

确定所述目标算子中包括的每个所述线程的数据处理量；

基于所述数据处理量确定所述目标算子中包括的全部线程的总数据处理量；

基于所述总数据处理量确定所述线程的数量与所述数据量是否匹配；

在确定所述线程的数量与所述数据量的不匹配的情况下，将所述目标算子中包括的线程的数量调整为与所述数据量匹配的目标数量。

3.根据权利要求2所述的方法，其特征在于，在确定所述线程的数量与所述数据量的不匹配的情况下，将所述目标算子中包括的线程的数量调整为与所述数据量匹配的目标数量包括：

在确定所述数据量超过所述总数据处理量的情况下，确定所述目标算子中包括的线程的数量与所述数据量不匹配，基