《数据库中间件MyShard》.pptVIP

MyShard介绍 欢聚时代：喻先兵 1 MyShard是什么 /p/myshard/ MyShard是一个数据库中间件 位于应用程序和MySQL之间 截取用户SQL请求、SQLRewrite、转发到MySQL MyShard是一种高可用数据库 实现在主主复制功能 跨IDC部署 高可用系统 数据层 服务层 代理层 APP 高可用系统：透明的应用故障切换、消除单点故障 应用程序故障发生时，可以自动透明地切换到其他服务器上 应用程序和查询不会中断，用户感觉不到故障的发生 代理层服务层高可用 代理层智能路由 服务层多点连接 读写分离 数据层 集群容错技术 磁盘备份技术 多机房容灾技术 APP 为什么要开发MyShard 4 主数据库IDC1 从数据库IDC2 从数据库IDC3 数据服务 读写分离 主数据库IDC1 主数据库IDC2 主数据库IDC3 数据服务 写代理 高可用 可伸缩 数据服务 Myshard IDC1 Myshard Myshard Myshard IDC3 Myshard IDC2 Myshard IDC1 开源的NoSQL 5 mongoDB HBase 为什么不采用这些NoSQL？ 跨IDC的高可用 全局第二索引 MyShard部署模型 高可用性、分区容错性、最终一致性 Multi-Master【主主服务】模型 专业灵活高效的版本冲突检测解决机制 可伸缩性 灵活的分布式策略和路由能力 海量存储能力 高并发服务能力 其他特性 MySQL协议的服务能力和半关系型操作模型 高效可靠数据同步能力 MyShard[IDC1] 服务代理 客户端 同步服务 MySQL分区 MyShard[IDC3] 服务代理 客户端 同步服务 MySQL分区 MyShard[IDC2] 服务代理 客户端 同步服务 MySQL分区 binlog同步原理 Myshard(g1) MySQL MySQL 中继日志 Binlog Binlog Myshard(g2) MySQL MySQL 中继日志 Binlog Binlog CAP原理 Consistency Availability Toleerance to network Partitions C: Consistency 一致性 A: Availability 可用性 P: Tolerance of network Partition 分区容错性 传统关系型数据库：CA 非关系型数据库： AP BASE模型 Basically Availble 基本可用 Soft-state 软状态/柔性事务 Eventual Consistency 最终一致性 Quorum NRW N：复制的节点数量 R：成功读操作的最小节点数 W：成功写操作的最小节点数 W+R〉N，可以保证强一致性 典型的场景： 强一致性：W=N，R=1 高可用性：W=1 HBase：W=N，R=1 MyShard：W=1，R=1 最终一致性模型 机房A 机房B 机房C 最近版本值 最近版本值 最近版本值 (k:0) (k:1) (k:0) (k:2) (k:0) (k:3) w (k:2) w (k:3) (k:3) w (k:1) w (k:3) (k:3) w (k:1) w (k:2) (k:3) 实现简单 优化资源 高效适用 w (k:1) w (k:2) w (k:3) 第二索引 MySQL MySQL MySQL MyShard 用户表[uid分区] 按用户名查询怎么办？ MySQL MySQL MySQL 数据 第二索引 用户索引[按用户名分区] MyShard Select * from user where uid=1 and name like=‘%’; Select * from user where name=‘henry’; 索引类型 全局第二索引 一致性第二索引 建表存储索引数据 存储所有字段 存储所有数据 create index idx_order_uid on order partition key uid sharding_rule hash_int_100; CREATE QUICK INDEX idx_order_q ON order PARTITION KEY uid SHARDING_RULE hash_int_100 WITH type = “10; select count(*) from order where uid=1 and type=10; 建表存储索引数据 存储主键、索引、版本字段 可存储部分数据 以空间换时间 以效率换一致性 本地索引 在原表上建索引 mysql的索引格式 以空间换时间 ALTER TABLE orde