Canal数据零丢失保障机制与实现方案.pdfVIP

《071_Canal是否会造成数据丢失？如何实现数据的零丢失保障？》

如果说Canal一旦宕机，内存级别的MemoryStore确实可能导致数据丢失。我认为需要借

鉴Flume的实现思路——在Canal中增加Fitore组件，将拉取的binlog数据实时写入本

地磁盘文件。

另一种实现方案是摒弃Fitore，改为将每条获取的binlog都写入Kafka。只要确保当

Kafka宕机时能自动降级写入本地磁盘即可。

必须严格遵循『先写入Kafka，后更新binlog位置』的机制。假设Canal拉取binlog后未及

时写入Kafka就宕机，就会导致部分binlog永久丢失。

当备用

Canal

Server

接管后，必须从

Zookeeper

中加载最后一次写入

Kafka

的

MySQL

Binlog

位置，并重新拉取

Binlog

写入

Kafka。

研究了

Flume

和

Canal

的源码，确实有所收获。

Flume：改造

SpillableMemoryChannel、KafkaSource

和

KafkaSink，通过

SinkGroup

实现故障转移。当

HDFS

或

Kafka

故障时，可将数据暂存至本地磁盘文件。

Canal：数据直接写入

Kafka

并同步更新

Zookeeper

中的

Binlog

位置。若数据已消费但