非实时任务数据同步并行处理方法、装置.pdfVIP

  • 1
  • 0
  • 约1.75万字
  • 约 15页
  • 2023-12-28 发布于四川
  • 举报

非实时任务数据同步并行处理方法、装置.pdf

本发明公开了非实时任务数据同步并行处理方法、装置,包括:获取需要完成单个数据同步的作业;根据源端切分策略,将获取的单个数据同步的作业拆分成多个可并发执行的子任务;基于拆分后的多个子任务,自动调用调度程序模块,根据配置的并发数据量,将拆分的多个子任务重新组装成任务组;控制每一个任务组负责以一定的并发运行分配的所有子任务,多个任务组并发执行启动数据同步;当启动时,各并行的任务组控制依次启动数据采集、数据处理、数据写入的线程来完成任务同步工作,以将数据写入到目标库。实现包括关系型数据库及各种异构数据源

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN117290117A

(43)申请公布日2023.12.26

(21)申请号202311259317.2

(22)申请日2023.09.26

(71)申请人深圳市酷开网络科技股份有限公司

文档评论(0)

1亿VIP精品文档

相关文档