CN119597490A 基于键列分区的hive分组运算性能优化与调度方法 （北京科杰科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119597490A

(43)申请公布日2025.03.11

(21)申请号202510144047.3

(22)申请日2025.02.10

(71)申请人北京科杰科技有限公司

地址100096北京市海淀区东升科技园北

街6号院10号楼11层101

(72)发明人高经郡高海玲吕彦奎

(74)专利代理机构北京智行阳光知识产权代理事务所(普通合伙)11738

专利代理师张毅群

(51)Int.Cl.

G06F9/50(2006.01)

G06F9/48(2006.01)

G06F16/28(2019.01)

权利要求书4页说明书16页附图2页

(54)发明名称

基于键列分区的HIVE分组运算性能优化与

调度方法

(57)摘要

CN119597490A本发明提供基于键列分区的HIVE分组运算性能优化与调度方法，涉及数据处理技术领域，包括通过构建键列分布直方图，确定键列分区策略，对数据进行预处理；基于资源评估和动态规划算法优化数据分区；采用最小生成树算法计算最优数据传输路径，并动态调整分配方案。本发明可提高HIVE分组运算性能，实现计算负载的动态平衡，有效解决数据倾斜问题，提升大规模数

CN119597490A

CN119597490A