腾讯分布式数据库TDSQL技术介绍.pptx

腾讯分布式数据库TDSQL技术介绍PART01TDSQL历程PART02TDSQL技术架构PART03TDSQL创新技术PART04TDSQL展望腾讯分布式数据库TDSQL的历程面向金融类业务，十余年积累，亿级账户验证腾讯公司内与计费、充值、转账、财务等核心系统90%以上都使用TDSQL！2002200420082010201220142015增值业务 分库分表手工伸缩业务爆炸 一致性、7X24可用性腾讯计费 超高并发超短时延米大师，腾讯 充值更名TDSQL腾讯SP业务 原生MYSQL腾讯云 金融云WeBank私有化部署2014年，微众+TDSQL为分布式数据库在互联网银行核心交易系统的应用首例 1700+ X86服务器，3.46亿+日金融交易峰值2019 201822017全时态 数据库分布式 事务全局读一 致性张家港银 行2019年，张家港行+TDSQL为分布式数据库在传统银行核心系统的应用首例 同等TPS下，硬件成本仅为传统商业数据库的1/5目前已服务500+金融政企，覆盖金融、政务、物联网、智慧零售、互联网等行业。TDSQL02腾讯分布式数据库TDSQL的 技术架构 ?TDSQL技术核心架构ClientsClientsSE GroupSE GroupSQL EngineSQL EngineSQL EngineSQL EngineReplica SetMSSReplica SetSchedulerMSReplica SetSSMMachine X@Zone 1Machine Y@Zone 2Machine Z@Zone 3TDSQL扩展架构腾讯全时态数据库创新的系统架构HTAC（Hybrid Transaction / Analytical Cluster）混合事务/分析集群3个融合：全态数据融合AP和TP处理融合架构向数据模型融合/Tencent_TEG/article/details/100145019TDSQL管理系统架构TDSQL安全03腾讯分布式数据库TDSQL的 创新技术 ?分布式数据异常Carsten Binnig, Stefan Hildenbrand, Franz F?rber, Donald Kossmann, Juchang Lee, Norman May: Distributed snapshot isolation: global transactions pay globally, local transactions pay locally. VLDB J.23(6): 987-1011 (2014)分布式事务处理框架双一致的统一致性模型全局一致性概念Bailis P, Davidson A, Fekete A, et al. Highly available transactions: Virtues and limitations. In Proc. of VLDB. 2013.181-192核心：同时满足2个一致l 读的角度：分布式读数据一致 性l 读写混合的角度：分布式事务 的事务一致性l 非多副本的数据一致性技术难点：l 正确性相对容易实现l 性能难以提高全时态数据库核心问题：l 分布式、全态数据在任何时间点的数 据一致性解决技术：l 写写冲突封锁机制互斥l MVCC从新版本到旧版本l 局部节点处于Prepared状态l 全局事务Committed/ Prepared状态l 异步、批量设置本地事务状态l 全局逻辑时钟（非跨城/洲分布）l 冲突可串行化l VLDB 2019 腾讯全时态论文《A Lightweight and Efficient Temporal Database Management System in TDSQL》N1子节点N2子节点全局状态是否可见PreparedPreparedPreparing不可见，读前一个版本PreparedPreparedPrepared不可见PreparedPreparedCommitted可见CommittedPreparedCommitted可见CommittedCommittedCommitted可见双一致的统一致性模型全局一致性概念Bailis P, Davidson A, Fekete A, et al. Highly available transactions: Virtues and limitations. In Proc. of VLDB. 2013.181-192核心：同时满足2个一致l 读的角度：分布式读数据一致 性l 读写混合的角度：分布式事务 的事务一致性l 非多副本的数据一致性技术难点：l 正确性相对容易实现l 性能难以提高2020见......深化研究...04腾讯分布式数据库TDS