2019年Canal开源产品介绍.pptVIP

Canal开源产品介绍 七锋 @ taobao Agenda 1. 产生背景 2. 项目介绍 3. 周边产品 4. roadmap 产生背景 早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求，当时早期的数据库同步业务，主要是基于trigger的方式获取增量变更。 从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅消费的业务，从此开启了一段新纪元. Canal介绍 名称： canal [k?n?l] 译意： 水道/管道/沟渠 语言： 纯java开发 定位： 基于数据库增量日志准实时解析，提供增量数据订阅消费(目前开源版本主要支持了mysql) Mysql同步原理 Mysql Slave同步原理： a. I/O thread接收binlog b. SQL thread执行变更 Mysql同步原理 Binlog Dump交互 Mysql同步原理 更多协议参考： /doc/internals/en/binary-log.html Canal工作原理 实时增量数据获取原理： 模拟slave的交互协议，伪装自己为mysql slave (类似于I/O thread线程) Canal工作原理 数据消费原理： 基于网络协议，提供数据订阅消费，类似于SQL Thread实现业务自定义 Canal Server模块 1. server代表一个canal server运行实例，对应于一个jvm 2. instance对应于一个数据队列 （1个server对应0..n个instance) Canal Server模块 server模块: 基于netty网络处理 + protobuf数据传输格式 instance模块： a. eventParser 增量数据解析器，目前仅支持mysql b. eventSink 数据过滤，加工，分发的工作 c. eventStore 数据存储，目前1.0.6仅支持memory，file存储开发中 d. metaManager 增量订阅消费信息管理器 Canal Server配置示例 Client/Server交互 Client/Server交互 数据对象格式 Canal Client示例 Canal Client示例 基于Canal能做什么？ 1. 数据库镜像备份 2. 异构数据库同步 3. 多地机房 4. 二级索引 5. 搜索引擎增量build 6. 数据库操作审计 7. 业务cache刷新 8. 价格变化等重要业务变更消息 ... ... Canal目前使用情况 Alibaba 200+ 数据解析任务 a. 数据规模：6亿+ b. 支持mysql5.1.40/48 , mysql 5.5.18 Canal使用群人数已超70+ 类似开源产品 1. linkedin databus /linkedin/databus 2. tungsten-replicator /p/tungsten-replicator/ 3. open-replicator /p/open-replicator/ Roadmap 1. topic模式支持 web管理系统 Auth权限管理 监控体系 新数据源接入 a. Hbase增量 4. client代码共建(共性业务场景) 数据库同步 nosql同步(如hbase) 相关资料 1. canal wiki /alibaba/canal/wiki 2. mysql binary log /doc/internals/en/binary-log.html 3. mysql replication-protocol /doc/internals/en/replication-protocol.html 问题反馈 1. qq交流群： 161559791 2. 邮件交流： jianghang115@ 3. 新浪微博： agapple0002 4. 报告issue：issues 最后 Q A