傅翠云--异地多活数据流基础设施DRC-V3.1.pptxVIP

异地多活数据流基础设施 DRC -­‐-­‐ 双11支持571亿交易额背后的武器 自我介绍 专注于DRC（data replication center） 目前负责产品规划和架构设计 • 在数据库，高可用，分布式经验比较丰富 Agenda DRC介绍 • DRC在异地多活 • DRC在更多数据架构 DRC在云端 如果你是阿里云用户？ 场景1：跨域同步RDS 美国RDS 杭州RDS replication 场景2：接入异构数据 迭代、迭代、迭代… 场景3：订阅增量数据 APP 可扩展性 一致性 稳定性 实时性 … … 备份、通知… 数据流基础设施DRC DRC是什么 原生复制 卡夫卡 标准消息 同步 异构 高可用 实时 分发 Data Replication Center 数据管道层 Master DB Slave DB Master DB Slave DB DRC Store（抓取） DRC Congo（同步） DRC SDK（订阅） data 高可用层 DRC架构 DRC distributed data 集群管理层 DRC cluster manager 统一接入层 DRC region manager DRC slave store DRC Store 数据流基础设施DRC • 覆盖阿里所有核心业务 • 服务于淘宝新一代架构的核心组件 异地多活的武器DRC 淘宝新一代架构 机房1 城市1 机房2 【同城多机房】只能堆机器 【跨城多机房】冷备贵且不靠谱， 多写跨城调用延迟大，流量无法切换 【阿里异地多活】 •热拔插应对业务峰值 •流量实时切换 •数据实时恢复 机房3 城市2 机房4 读/写 读只/读写 城市3 读/写 城市4 读/写 淘宝异地双活 支付 买家 卖家 商品 创建 订单 中心 商品 管理 库存 优惠 物流 订单 会员 单元 物流 商品 管理 库存 优惠 创建 订单 订单 会员 一致性 实时性 单元 100% 中心 100% 同步架构1 – 读写分离 保证实时性 保证一致性 Store Congo 中心读写 单元只读 单元100% 中心100% 同步架构2 – 单元封闭 避免循环复制 避免峰值压力 Store Congo Store Congo 中心流量1-­‐N% 单元流量N% DRC核心能力 低延迟 高可用 一致性 一致性 • 数据有序 • 数据不丢 • 数据不错 • 事务一致 Binlog commit Store Congo 跨城秒级延迟挑战 5~100ms 1~5ms 0.2ms 150ms 低延迟 • 跨城延迟大 • 事务相关、DDL影响并发 • 读历史会影响写实时 • 热点数据阻塞非热点数据 Binlog commit Store Congo 高可用 • 源和目的主备切换 • 任务高可用 • 数据高可用 • 下游隔离 • 核心隔离 • 监控 Store Congo Zookeeper Cluster Manager Distributed data Slave Store DRC reloader DRC monitor Store Congo 014年双十一处理规模 2000+个实例实时增量 抓取了约100TB的数据量 峰值每秒处理了30+GB的数据量 数据同步：除了交易限流，核心库均无超过秒级延时 增量订阅：17000+个实时下游 2014年双十一实时性 DRC DRC 经历2次 双11 成功支撑 571亿交易 最大延迟 不超过1秒 同步距离 最长10000 公里 申请10项 专利 DRC支持更多数据架构 Region2 Region1 Zone1 高可用分布式数据库 Zone2 Paxos/DRC Zone3 DRC Store Store Congo Congo Congo Congo Region2 Region1 数据分发中心 Store Store Store 离线分析 搜索 实时计算 增量中心 消息队列 Store Slave store Store Slave store Store Slave store DRC在云端 迁移上云 • 覆盖2014年50%RDS新增实例 • 全量+增量，无缝迁移 升级版 -­‐-­‐ DTS MySQL mysqldump mysqlimport Oracle 25-­‐page document 导入/导出 SQL Loader SQL Server 7-­‐page document Import/Export向导 Bulk Copy Program PostgreSQL 10-­‐page document pg_dump 3-­‐page do