Flink CDC 在大健云仓的实践.pdfVIP

FlinkCDC在大健云仓的实践

龚中强/基础架构部负责人2022-5-21

01

引入FlinkCDC的背景

02

现今FlinkCDC内部落地的业务场景

CONTENT

目录03

未来FlinkCDC内部推广及平台化建设

04

社区合作

#1引入FlinkCDC的背景

数据同步引发的惨案

小明是仓库管理系统的开发；小白是平台开发；小黑是LDSS的开发。

小明：“我需要平台的商品基础信息用来买物流单。”

小白：“没问题，我把SQL给你，你直接连我的数据库查不就得了。”

小明：“好的呀，我通过这个SQL将查出来了数据插进我的数据库，再加个定时任务去

刷新结果。”

小白：“商品信息也不是很多，问题不大。”

过了段时间。

小黑：“我需要仓库所有的商品的库存、仓库信息，还有最近客户、销售订单、商品信

息做预测。”

小明：“你这数据需求有点多，我找领导问问。”

领导：“哎呀，LDSS取数需求那么多而且复杂，咱们搞个专门的应用来同步吧。”

一通操作，一个多数据源的同步程序上线了。

数据同步引发的惨案

DBA：“怎么回事，最近数据库怎么频繁告警，查看了监控发现峰值呈现规律的间隔状，

SQL怎么是分页查询插入其他实例，我把SQL发到开发群里看看”。

领导：“小明，小白这个得改，每次应该只同步上一次同步成功的结束时间到当前时间

之间的变动数据。”。

一通修改再上线，告警情况似乎消失了。

小明，小白：“这真的管用哎，搞定了！”。

黑五大促开始。

仓管：“我这SKU的货都已经全部出库了，怎么分拣订单还派到我这？我得找IT同事看

看”。

小黑：“LDSS分单的时候，明明查询到你的仓库有货的啊！”。

公司引入CDC技术的背景

物流科学家开发

我需要库存，销售订单，物流账我需要同步其他业务系统的基本

单等数据用来分析。信息。

财务老板

我想财务数据能够实时传送，而我需要一个数据大屏。

不是月结前才看到。

CDC技术

CDC(ChangeDataCapture)它是捕获数据变更的技术。在广义的概念上，只要能捕获数据变更

的技术，我们都可以称为CDC。通常我们说的CDC技术主要面向数据库的变更，是一种用于捕

获数据库中数据变更的技术。

CDC的实现方式：

基于查询（批）基于日志（流）

优点：优点：

实现相对简单实时消费变更日志

无需特别的配置和权限对DB压力较小

缺点：保证数据的一致性

实时性基于调度频率