DTCC2016-阿里海量数据迁移同步架构及最佳实践.pdf

阿里海量数据迁移同步核心架构及最佳实践 付大超（千震 ）@阿里巴巴 2016.5.13 个人简介 • 付大超（花名：千震） • 阿里巴巴数据库团队技术专家、DTS团队负责人 • 2012年加入阿里巴巴，目前负责DTS团队研发工作，曾负责阿里HBase的开发及维护 工作，开发了阿里HBase集群高用性系统，曾先后实习及工作于IBM、Cisco、淘宝。 目录/ CONTENTS 问题 简介 架构 实践 PART 1 问题 痛点 上云难 单点故障 停机迁移，系统上云需要应用停服数小时， 数据单地区存储，一旦出现数据节点 甚至数天 故障，应用服务完全瘫痪，故障恢复 网络抖动性不可控，一旦迁移失败只能重 头再来 时间长达数小时 迁移正确性，全人肉验证，可靠性低 用户在上云、用云过程中，遇到了停机迁移、单点故障、跨地区访问、 消息通知等诸多难点，DTS提供的热迁移、变更数据分发及数据实时同 步功能，帮助用户轻松解决所有问题 BI分析、业务系统间消息通知 ，只能在应 数据库单地区部署 ，跨地区业务访问， 用层面实现，业务逻辑复杂 业务访问延迟大，用户体验差 系统间数据流动难 跨地区访问延迟大 阿里典型业务挑战：  一键建站 要求一键完成PB级核心数据数天内从一个数据中心到1500公里外的另一个数据中心的迁移，并完成业务的无缝切换 确保无任何数据丢失。 • 异地多活 阿里最新的数据架构中要求一个核心的数据中心全部挂掉不影响双11业务的正常运行。 事务强一致，低延迟，高可用 • 异构 要求支持多种数据存储产品 • 中美秒级同步 中美网络延时200ms, 要求秒级同步 • 增量订阅服务 要求MySQL、OceanBase、SQLServer、Oracle、HBase提供增量数据，供各类业务及大数据处理 PART 2 DTS简介 DTS简介 数据传输服务(Data Transmission Service ，简称DTS) 支持以数据库为核心的结构 化存储产品之间的数据传输，它是一种集数据迁移、数据订阅及实时同步于一 DTS 体的数据传输服务。可以使用DTS轻松构建安全、可扩展、高可用的数据架构。 丰富多样 高性能 支持同异构数据源之间的迁移同步 全量迁移性能高达70MB/s 支持全量增量多种传输方式， 实时传输性能高达30000TPS 增量迁移可以实现应用无缝切换 安全可靠 简单易用