? ?
?
? ?
大数据量同步方案之全量同步改为增量同步解决方案
?
? ?
?
?
?
?
?
?
?
? ? ?
?
?
?
?
?
背景描述:
在一些大数据运用场景中,由于上游数据每天都在变化着,在需要用这些数据的下游系统需要每天刷新这些变化的数据,当数据量小时候,简单粗暴的方式就是每次全量更新数据,但随着业务的增长,数据量成几何方式增长时(达到亿级别甚至更多),每次的更新工作将是耗时耗力的,也是业务方无法忍受的。此时,就需要一种解决方案变全量同步为增量同步。
解决方案:
考虑到数据量基数虽然大,但每天变化的数据量却是有限的(包括:add和update),所以只需每天更新变化的记录行即可。参考以下流程图的方案:
说明:1、过程分两步:首次全量更新,之后每天增量更新变化的信息。2、一定要注意步骤的执行顺序,例如:先删除失效数据再同步变化的数据(当然实际中很多数据库中间件能够支持覆盖更新功能,此时此步骤可省略,皆大欢喜),而删除超期数据则什么时间执行都没问题。3、在上述基础上,最好定时(例如每周一次或每月一次)全量删除重新推送数据进行数据矫正,不失为一种好的补偿方案。4、流程图中没有考虑delete的数据,是由于在互联网中一般数据只需逻辑删除,不做逻辑删除,因此,delete过程(udpate status=-1)实质是update过程,该记录归属于updat
您可能关注的文档
- 大厦能耗管理系统的设计与应用.docx
- 大数据处理两套解决方案.docx
- 大数据平台安全风险与建设.docx
- 大厦闸机连接访客系统的应用优势.docx
- 大数据背景下的智慧城市建设解决方案-智建社区.docx
- 大数据预处理架构和方法简介.docx
- 大数据预处理之数据清洗.docx
- 大数据运维-大数据平台+海量数据.docx
- 大数据运维的工作职责.docx
- 大数据运维-集群-监控-CDH-Docker-K8S.docx
- 《设备控制处处在》教学课件-2026-2027学年华中科大版(新版)小学信息科技六年级全一册.pptx
- 部编语文二年级上册句子总复习.pptx
- 《通过反馈知效果》教学课件-2026-2027学年华中科大版(新版)小学信息科技六年级全一册.pptx
- 《我是小小控制员》教学课件-2026-2027学年华中科大版(新版)小学信息科技六年级全一册.pptx
- 《开关量的真与假》教学课件-2026-2027学年华中科大版(新版)小学信息科技六年级全一册.pptx
- 部编版语文三年级上《礼物》.pptx
- 退货跨班周期维护问题复盘与改进跟踪.docx
- 退货跨班任务分派与班前准备核对单.docx
- 退货跨班资料追溯与责任交接单.docx
- 退货逆向物流结果复核与验收确认记录表.docx
最近下载
- 中联ZT42J-Service-and-Maintenance-Manual-Portuguese维修手册含电器液压原理图.docx
- 2025湖南工商大学湘江实验室招聘研发人员12人笔试备考题库及答案解析.docx VIP
- 2025年初级消防装备维护员资格理论考试题库(含答案).docx
- 香港平安卡(平安咭)考试题目及详细答案.docx
- 12福特福克斯 电路图.pdf VIP
- 2025湖南工商大学湘江实验室招聘研发人员12人备考题库及答案解析.docx VIP
- 苜蓿青贮后RFV降低是一种误解.pdf VIP
- SY∕T 6928-2018 液化天然气接收站运行规程.pdf
- 人教版五年级上册数学用字母表示数练习题总汇.docx VIP
- 红岩概括每章字.doc VIP
原创力文档

文档评论(0)