TiDB平台架构演进和实践.pptx

TiDB 架构演进和实战经验目录TiDB 介绍架构解析进化方向实战经验设计目标水平扩展高可用ACID 事务SQL at Scale架构解析整体架构SQL EngineMySQL 协议SQL 解析+优化无状态Optimized Logical PlanSQLASTLogical PlanCost ModelStatisticsSelected Physical Plantidb-serverTiKVTiKVTiKVTiKVTiKVTiKVTiKV ClusterStorage Engine(1/2)分布式 KV 存储引擎分布式事务Raft：强一致的复制数据被拆分成多个 RegionRegion 可以分裂，合并，并在机器之间来根据负载流动原生支持 Coprocessor，加速 SQL Predicate Push DownClientDataflowTiKVTiKVTiKVTiKVTiKVTiKVTiKVTiKVTiKVTiKVTiKVTiKVTiKV NodesStorage Engine(2/2)Placement DriverClient (Key Value APIs or Coprocessor Call)RPC RPC RPCRPCPD 1TiKV node 1 TiKV node 2 TiKV node 3 TiKV node 4Store 1 Store 2 Store 3 Store 4PD 2PD 3Region 2Region 1 Region 1 Region 1Region 3 Region 2 Region 5 Region 2Region 5Region 4Region 3Region 5Region 4Region 3Region 4Raft GroupScheduling进化方向HTAPReal-time Data WarehouseNo more ETL!Cascades OptimizerVectorize+Parallel Execution EngineCloud NativeEcosystem ToolsStorage Engine宽表存储行列混合存储冷热数据分离只读副本实战经验典型场景大中台型业务多源数据实时汇总MySQL Sharding 的完美替代方案跨数据中心高可用部署「异地多活」和分库分表说再见「大中台」MySQL MasterMySQL MasterMySQL MasterMySQL MasterMySQL MasterSyncerSyncerSyncerSyncerSyncerAs Slave Cluster通往实时数据仓库「异地多活」- Geo replicationDC - 1 DC - 2 DC - 3Rack RackRack RackRack RackR1R2R1R2R1’R2’After schedulingDC - Seattle 1 DC - Seattle 2DC - Santa ClaraRack RackRack RackRack RackR1’R2R1R2’R1R2「All in TiDB」- 转转公司的 TiDB 实践以前： 解决方案：MySQL + MongoDB大数据量性能瓶颈业务侵入 - 被迫 shading业务多维度成本、复杂度叠加增加运维成本故障切换时间长 高可用方案All in TiDB已经上线 11 套 OLTP 系统，1 套 OLAP 系统，包括核心的 IM、交易、用户、商品等待上线 3 套，最终完成 90% 系统上线几十T 数据量、千亿级表、万级 TPS实施效果：案例文章：TiDB 分布式数据库在转转的应用实践文章链接：/R1MAXEq/R1MAXEqTiDB 整体响应延时非常稳定，不受业务流量高 峰影响TiDB/TiKV通过线性扩容无缝提升吞吐量微信小红点、世界杯促销承担 5 倍容量增长维峰会广州站美团的 TiDB 实践案例美团数据库历史状态：MySQL + NoSQL数千服务器 + 万亿级请求数/天自研了 NoSQL 、 MySQL Proxy拥有多个业内顶级存储开发、数据库内核开发小组美团的 TiDB 实践案例美团下一代的数据库选型考量未来新美大业务几十倍的数据量增长目标，需要更强大的技术支持，数据库是关键基础组件之一所以对新一代分布式关系型数据库需求量远大于传统的 MySQL + NoSQL新美大的最终选择：TiDB美团的 TiDB 实践案例线上使用情况：上线 10 套系统分布在如下 6 个事业群及平台：配送事业部出行事业部闪付事业部酒旅事业部美团平台基础研发平台OLTP 为主美团关于 TiDB 实践的一些经验开启 Region Merge 选项系统会自动将多个小 Region 合并成一个，降低路由信息维护的开销