一种基于分布式的大规模数据迁移方法.pdfVIP

  • 5
  • 0
  • 约7.92千字
  • 约 8页
  • 2024-02-14 发布于四川
  • 举报

一种基于分布式的大规模数据迁移方法.pdf

本发明涉及一种基于分布式的大规模数据迁移方法,方法包括:S1、建立迁移数据库;S2、将源库中的源数据导入迁移库,迁移库对源数据进行跑批映射,得到目标数据;S3、跑批完成得到目标数据后,进行源数据和目标数据的验证,验证后将目标数据下发至目标库;其中,源数据包括大数据量表,大数据量表包括分区表和频繁查询的基础数据,迁移库对大数据量表进行跑批映射的具体步骤为:对分区表中分区不均匀的分区表进行分片处理,对频繁查询的基础数据进行缓存,然后对分片处理后的分区表、缓存后的频繁查询的基础数据进行跑批写入目标表数

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN117555878A

(43)申请公布日2024.02.13

(21)申请号202311439621.5

(22)申请日2023.10.31

(71)申请人上海浦东发展银行股份有限公司

地址

文档评论(0)

1亿VIP精品文档

相关文档