一种基于Spark框架的数据表同步方法、同步装置和存储介质.pdfVIP

  • 8
  • 0
  • 约1.57万字
  • 约 15页
  • 2023-04-24 发布于北京
  • 举报

一种基于Spark框架的数据表同步方法、同步装置和存储介质.pdf

本申请公开了基于Spark框架的数据表同步方法、同步装置和存储介质。基于本申请,基于Spark框架获取待处理数据表中的元数据的数量,为各元数据对应生成自增字段,形成自增字段表;以及,基于各数据分区的数据处理能力和需要处理的元数据的平均长度,计算数据分区的平均可处理数据量。进一步地,基于平均可处理数据量对自增字段表进行划分,以完成对待处理数据表中的各元数据对应数据分区的划分,使得各数据分区中的数据均匀,提升数据处理效率。

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 114020843 A (43)申请公布日 2022.02.08 (21)申请号 202111299817.X (22)申请日 2021.11.04 (71)申请人 北京房江湖科技有限公司

文档评论(0)

1亿VIP精品文档

相关文档