原创力文档- 3
- 0
- 约8.56千字
- 约 10页
- 2023-04-24 发布于北京
- 举报
本发明公开了一种基于SparkSQL的聚合计算优化方法，包括如下步骤：S1、通过原生SparkSQL提供的规则扩展接口，进行执行计划阶段的重新编排；S2、使用基于块数据模型实现的BlockSortedAggregateExec和BlockHashAggregateExec执行计划；S3、进行执行计划匹配，匹配是否有聚合统计节点，若没有匹配规则，则聚合优化规则结束；若匹配到聚合执行计划，则会提取聚合计算节点类型，并判断其为哪种聚合节点；S4、若是基于Hash的聚合节点，则将SparkSQL原
(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 CN 114020782 A
(43)申请公布日 2022.02.08
(21)申请号 202111419581.9
(22)申请日 2021.11.26
(71)申请人 西安
文档评论（0）