阿里otter系统部署手册.pdfVIP

阿里 otter 应用 系统部署手册 版 日 作者 备注 本号 期 0. 20 fashchina 初始 1 16-4-29 一、 产品说明 名称：otter [ɒtə(r)] 译意： 水獭，数据搬运工 语言： 纯java 开发 定位： 基于数据库增量日志解析，准实时同步到本机房或异 地机房的 mysql/oracle 数据库. 一个分布式数据库同步系统。 二、 工作原理 一、原理描述： 1. 基于 Canal 开源产品，获取数据库增量日志数据。 什么是 Canal, 请点击 2. 典型管理系统架构，manager(web 管理)+node(工作节点) a. manager 运行时推送同步配置到 node 节点 b. node 节点将同步状态反馈到 manager 上 3. 基于 zookeeper，解决分布式状态调度的，允许多 node 节 点之间协同工作. 二、什么是 canal? otter 之前开源的一个子项目，开源链接地址： 三、 otter 能解决什么？ 1. 异构库同步 a. mysql - mysql/oracle. ( 目前开源版本只支持mysql 增 量，目标库可以是 mysql 或者 oracle，取决于 canal 的功能) 2. 单机房同步 (数据库之间RTT 1ms) a. 数据库版本升级 b. 数据表迁移 c. 异步二级索引 3. 异地机房同步 (比如阿里巴巴国际站就是杭州和美国机房 的数据库同步，RTT 200ms，亮点) a. 机房容灾 4. 双向同步 a. 避免回环算法 (通用的解决方案，支持大部分关系型 数据库) b. 数据一致性算法 (保证双 A 机房模式下，数据保证最 终一致性，亮点) 5. 文件同步 a. 站点镜像 (进行数据复制的同时，复制关联的图片，比 如复制产品数据，同时复制产品图片). 四、 初步性能指 1. 单机房同步 a. 100tps ， 延迟 100ms b. 5000tps, 延迟 1s 2. 中美异地机房同步 a. 100tps ， 延迟 2s b. 5000tps ，延迟 10s ps. 性能指 取决于目 数据库性能，数据大小等多个因素， 单机房 100b 大小，极限 tps 可以 1w+ 五、 名词解释 Pipeline ：从源端到目 端的整个过程描述，主要由一些同步 映射过程组成。 Channel ：同步通道，单向同步中一个 Pipeline 组成，在双向同 步中有两个 Pipeline 组成。 DataMediaPair ：根据业务表定义映射关系，比如源表和目 表，字段映射，字段组等。 DataMedia : 抽象的数据介质概念，可以理解为数据表/mq 队 列定义。 DataMediaSource : 抽 象 的 数 据 介 质 源 信 息 ，