原创力文档- 3
- 0
- 约2.02万字
- 约 17页
- 2023-06-06 发布于四川
- 举报
本发明涉及数据处理技术领域，尤其涉及一种大数据处理方法、装置、电子设备及存储介质。本发明的大数据处理方法，当参与大数据处理任务的数据表中主键的数据量超过第一预设阈值时，将主键的数据划分为多组；根据大数据处理任务建立至少一个执行计划树，确定每个执行计划树的代价，将代价最低的执行计划树作为最优执行计划树；根据最优执行计划树以及历史任务的第二统计信息确定大数据处理任务的并发量和计算资源；通过上述方式，充分利用统计信息，将数据分布优化、代价优化以及基于历史优化相结合进行大数据处理，在消除数据倾斜后进行代
(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 CN 112764935 A
(43)申请公布日 2021.05.07
(21)申请号 202110123219.0
(22)申请日 2021.01.29
(71)申请人 中国平安人寿保险股份有限公司
文档评论（0）