1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 行业资料
  5. 国内专利

一种保证数据不重复和延迟监控的数据处理方法及装置.pdfVIP

  • 5
  • 0
  • 约1.87万字
  • 约 15页
  • 2023-12-06 发布于四川
  • 举报

一种保证数据不重复和延迟监控的数据处理方法及装置.pdf

    本发明公开一种保证数据不重复和延迟监控的数据处理方法及装置，其中，该方法包括：根据系统的时间戳组织入库的文件；按照每个入库的目录作为数据处理粒度，定期调度Spark的离线计算任务；确定数据处理批次的唯一编号；根据事件时间分区，将数据写入中间暂存区目录；根据暂存区文件，生成待入库的文件名；根据上一步生成的文件的分区，删除数据目录下的数据；移动数据；修改该批次的数据源目录，增加_done后缀，标识数据已经完成处理；数据延迟分区。该方法及装置可保证程序在异常场景下重新处理，数据不会重复；同时，可监控数

    (19)中华人民共和国国家知识产权局

    (12)发明专利申请

    (10)申请公布号CN112015798A

    (43)申请公布日2020.12.01

    (21)申请号202011012315.X

    (22)申请日2020.09.24

    (71)申请人中盈优创资讯科技有限公司

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >