分布式事务中间件JDTX介绍.pptx

智慧IT分布式事务中间件JDTX介绍京东数科强一致、高性能 中间件目录1234数据库事务原理分布式事务的得与失CONTENTSJDTX解决方案详解JDTX roadmap原子性一损俱损 & 不能一荣俱荣一致性强一致 & 最终一致性CA隔离性性能与隔离级别的权衡持久性数据持久化 & 恢复模式ID原子性 & 持久性恢复模式WAL客户端内存 & 索引隔离级别：锁实现读未提交读不加锁读写 & 写读并行写写不可并行读已提交读共享锁可升级为写排它锁读写并行可重复读写读不可并行读共享锁和写排它锁互斥读读并行可序列化读写 & 写读不可并行仅持有一把排他锁读读无法并行一致性 & 基于锁的隔离性隔离级别脏读不可重复读幻读读未提交可能可能可能读已提交不可能可能可能可重复读不可能不可能可能可序列化不可能不可能不可能隔离级别：MVCC实现事务发生时间点快照时间线Tx1Tx2Tx3Tx4已提交未提交Tx5Tx6MVCC隔离级别的实现读未提交 & 读已提交实现方案：直接读取MVCC链表中已提交的最新数据可重复读 & 可序列化实现方案：通过当前事务的快照边界判断MVCC链表中符合的已提交数据TXID ∈ [1，快照下界) ：过去的事务，对此快照均可见TXID ∈ [快照下界，快照上界)：仍处于未提交状态的事务不可见处于提交状态的事务可见处于回滚状态的事务不可见TXID ∈ [快照上界，∞)，未来的事务，对此快照均不可见MVCC元组数据结构datacreated_txiddeleted_txidINSERTversion_110000datacreated_txiddeleted_txidUPDATEversion_1Version_21000100110010datacreated_txiddeleted_txidDELETEversion_1Version_21000100110011002First txid：1000一致性 & 基于MVCC的隔离性隔离级别脏读不可重复读幻读写偏序读未提交无需实现无需实现无需实现可能读已提交不可能可能可能可能可重复读不可能不可能不可能可能可序列化不可能不可能不可能不可能目录1234数据库事务原理分布式事务的得与失CONTENTSJDTX解决方案详解JDTX roadmapDTP事务模型 & XA协议两阶段事务模型的得失损失并发性能 可用性提交阶段失败的处理分布式收益柔性事务 & CAP定理柔性事务模型的得失损失一致性 & 隔离性 业务侵入分布式 并发性能收益目录1234数据库事务原理分布式事务的得与失CONTENTSJDTX解决方案详解JDTX roadmap分布式 & 1PC完全摒弃两阶段提交的透明化实现方案事务原义支持完全支持ACID的强一致事务目标Objective高性能插入性能高于本地事务 查询性能高于分布式事务高可用无中心化架构模型跨多元数据库支持RDBMS、NoSQL、MQ等多元资源JDTX内部架构约束校验引擎恢复引擎开启事务LSN生成器WAL提交事务处理器删除 获取本地事务元组落盘执行器MVCC引擎回滚更新更新更新执行器查询执行器查询无UNDO日志通过约束验证来避免使用undo日志提升性能异步刷盘通过WAL和内存的方式异步化刷盘设计亮点Idea无损事务方案使用本地事务API完全支持ACID活动事务与数据存储分离充分利用数据库存储引擎的稳定性开发成本最小化充分采用论文思路以及第三方开源MVCC内核完全实现MVCC机制SQL支持解析引擎对多种数据库的复杂SQL支持实现难点Difficulty内存查询引擎内存快照数据与SQL计算表达式的适配刷盘幂等性在消息超时重试或消费端重新负载均衡时 保证刷盘正确性高可用绝大部分组件的失效均不影响事务的正常 运行JDTX部署架构优点：各节点存储部分事 务数据，TPS可水 平扩展高可用缺点：1. 查询需要跨节点获 取数据应用应用应用业务代码业务代码业务代码JDTXJDTXJDTX分片Redis（主）Redis（主）Redis（主）WALRedis（备）Redis（备）Redis（备）Redis 集群JDTX分布式异常梳理 —— 应用节点不可用无影响应用无状态应用应用应用业务代码业务代码业务代码JDTXJDTXJDTXRedis（主）Redis（主）Redis（主）WALRedis（备）Redis（备）Redis（备）Redis 集群JDTX分布式异常梳理 —— Redis节点全部失效不可用系统无法提供在线服务数据落盘WAL不会丢失可通过恢复模式恢复数据应用应用应用业务代码业务代码业务代码JDTXJDTXJDTXRedis（主）Redis（主）Redis（主）WALRedis（备）Redis（备）Redis（备）Redis 集群JDTX分布式异常梳理 —— WAL不可用高风险应用可