TDSQL数据同步和备份.pdfVIP

TDSQL另外一个辅助特性：数据同步和备份。

1.TDSQL数据同步组件

数据同步的重分为三个场景：

个场景一个数据汇总。比如，多个数据库实例的数据同步到一个数据库实例，如

保险行业用户多喜欢将全国多个区域数据库实例的数据同步到全国总库进行统计分

析。

第二个就跨城的容灾。跨城容灾，一般一个城市的分布式数据库的数据需要同步

到另外一个城市异构的分布式数据库中灾备。有的时候们要异构数据库的跨城容灾，

比如说主城一个十六节的数据库，它非常庞。但备城，可能们基于成本考虑，选用

的设备数量、机房都要差一些。比如灾备实例只有两个物理分片。一个两分片数据

库实例，而另外一个时十六分片的数据库实例。从十六分片同步到；两分片，这一

个异构的数据库的同步，这时候们就需要利用数据同步这个组件。

第三个迁移。异构数据库的迁移，将数据从TDSQL同步到MySQL、Oracle、

PostgreSQL等数据库。当然，从TDSQL到TDSQL一种同步，更有一种TDSQL到

其他异构数据库。举个例子，张家农商行，它的核心系统需要从传统的国外商用数

据库替换为TDSQL，可能还需要一定的风险的防范。最终们给了一套用Oracle作

为TDSQL灾备示例的方案，通过数据同步组件，将TDSQL的数据准实时同步到

Oracle。假如在极端情况下需要将切到Oracle，们也有这个能力的。

当然数据迁移也体现了TDSQL放的思想，既然允许用户将数据迁移到TDSQL，如

果有一天用户可能觉得TDSQL不很好，觉得有更好的产品可以替代它，TDSQL支

持用户把数据迁走。

2.TDSQL数据备份

TDSQL支持的实时热备，同时这个备份基于备机上的备份，备份支持镜像和

binlog的备份。镜像又支持物理镜像和逻辑镜像（也叫物理备份和逻辑备份）。

物理备份的好处速度快，直接操纵物理文件，缺只能备份整个数据库实例，无法选

择指定库表。逻辑备份的好处通过SQL的备份，它可以选择单个库表备份，但如

果对整个实例备份效率不及物理备份。比如说有1T的数据，只有100兆的关键的

数据，如果为了节省存储空间就没有必要用物理备份，就用逻辑备份，只备份们关

心的库表。

有了物理备份和逻辑备份之后，基于数据的镜像，再结合binlog轻松实现数据的

定恢复。对于binlog的备份TDSQL的Agent模块完成准实时的异步备份。比如说

们每天的0备份镜像，同时各个时间段的binlog准实时备份。当需要恢复到一个

早上6的数据，利用0的数据镜像再结合0到6的binlog，即可完成6的数据恢

复。

备份在备机上不会影响主机。整个备份过程也有监控有告警，实现整个备份过程

的追踪。

因为架构这一块内容确实比较多，本次也作为所有TDSQL系列的一个前瞻，后面

更多的系列会根据这门课的部分章节详细展。这次主要想帮助家了解TDSQL的整

体架构和模块划分，以及它的关键特性如何设计，基于什么样的考虑。听完本次再

听后面的专题，会更容易去理解。

3.QA;

Q：TDSQL1.0版本没有SQL引擎模块吧？

A：最早在2002年的时候们使用单机版MySQL作为数据存取，而后衍生出了

TDSQL，这种计算存储相分离的架构，进而引入SQL引擎。

Q：请问存储节的MySQL使用原生的么？

A：TDSQL在原生MySQL基础上了量调优，如线程池、强同步的优化，以及限制，

分布式事务XA优化等等。

Q：银行核心要到分库分表，发的聚合查询如何实现？

A：SQL引擎屏蔽了分表的细节，让在逻辑上看到的和单节模式一下一样，仍然一

张独立的库表。此外，SQL引擎会自动数据聚合，发不需要关心。

Q：a+3，如果掉失了，B和C节都没有同步过来，怎么？A机器已经已经无法恢

复。

A：a+3如果没有被B,C确认，即不满足被多数派确认，不会应答给成功的，最终

会以超时的返回给。如果A机器无法恢复，这时新加入节会通过物理拷贝最快速

度“克隆”出一个备节继续代替A节。

Q：Shard版本的可以通过pt工具，或者gh-ost加字段不？会有什么限制不？

A：TDSQL管理台onlinel的功能，会自动对多分片原子性变更，不需要再用第三

方工具；分布式TDSQL在DDL的时候不允许调整shardkey