基于主从复制.ppt

Wang Li/CC/IHEP * - * QI Mengyao/CC/IHEP * - * 面向高能所信息化系统的高可用数据库服务 王丽 计算中心 中科院高能所 第十八届全国科学计算与信息化会议 Wang Li/CC/IHEP * - * 目录 背景与现状 问题与需求 数据库集群方案 IHEP数据库集群架构 性能测试 总结与展望 什么是“信息化”？ Wang Li/CC/IHEP * - * 整合、优化、重组 软件技术 计算机技术 互联网技术 信息化 信息化现状 Wang Li/CC/IHEP * - * 高能所信息化 PC端 网络接入控制系统 人力资源系统 物资采购系统 基建采购报销系统 投票系统 APP移动端 高能所通讯簿系统 个人云平台 Wang Li/CC/IHEP * - * 传统数据库 单机数据库 数据分散存储 可靠性难以保障 数据库节点故障 数据库配置存在瓶颈 不支持高并发 访问量影响系统响应 数据一致性无法保障 数据丢失、数据损坏 Wang Li/CC/IHEP * - * 需求 高性能 安全性 高可用 集中存储 Wang Li/CC/IHEP * - * MySQL集群 Mysql 集群方案 基于共享存储的方案SAN 基于磁盘复制的方案 DRBD 基于主从复制(单点写)方案 MHA(Master High Availability) 基于zookeeper的高可用 基于Cluster(多点写)方案 基于中间件proxy的方案 Wang Li/CC/IHEP * - * 基于共享存储的方案SAN 优点: 可以避免存储外的其它组件引起的数据丢 部署简单，切换逻辑简单，对应用透明。 保证主备数据的强一致。 限制或缺点: 共享存储是单点， 价格比价昂贵。 若共享存储挂了，则会丢失数据 Wang Li/CC/IHEP * - * 基于磁盘复制的方案 DRBD 优点： 1.切换对应用透明 2.保证主备数据的强一致。 限制或缺点： 1.影响写入性能，由于每次写磁盘，实质都需要同步到网络服务器。 2.一般配置两节点同步，可扩展性比较差 3.备库不能提供读服务，资源浪费 Wang Li/CC/IHEP * - * 基于主从复制(单点写)方案 Mysql 主从复制原理 优点 数据分布 负载平衡 备份 高可用性和容错行 Wang Li/CC/IHEP * - * Keepalived+双主 优点： 安装配置简单 Master故障时，Slave快速切换提供服务，并且对应用透明 限制或缺点： 需要主备的IP在同一个网段。 需要自定义脚本来确定Master是否能提供服务 Wang Li/CC/IHEP * - * MHA 优点： 代码开源 保持数据一致。 故障时，选择slave作为自动切换 可以灵活选择VIP方案或者全局目录数据库方案(更改Master IP映射)来进行切换。 缺点： 只支持一主多从架构，集群中必须最少有三台数据库服务器 要保持切换对应用透明，依然依赖于VIP。 不适用于大规模集群部署，配置比较复杂。 MHA管理节点本身的HA无法保证。 Wang Li/CC/IHEP * - * 基于zookeeper的高可用 优点： 扩展性非常好，可以管理大规模集群。 保证了整个系统的高可用 主从的强一致依赖于MySQL本身，比如半同步，或者外围工具的回补策略 缺点： 引入zk，整个系统变得复杂。 Wang Li/CC/IHEP * - * Mysql Cluster 优点： 准同步复制、自动节点管理 数据严格一致 服务高可用 多个可同时读写节点， 可实现写扩展 缺点 只支持innodb引擎 所有表都要有主键 由于写要同步到其它节点，存在写扩大问题 非常依赖于网络稳定性，不适用于远距离同步 Wang Li/CC/IHEP * - * 基于中间件proxy方案 中间件 阿里 Cobar、MyCAT 360 Atlas 淘宝 Tddl 优点： 切换对应用透明 可扩展性强，方便分片扩展 可以跨机房部署切换 使用中间件的方案能够每天处理近50亿次的SQL执行请求 Wang Li/CC/IHEP * - * 高能所数据库集群方案 优势 使用Atlas代理服务器，实现读写分离，实现mysql集群的高并发 两个master安装keepalived实现Mysql集群的高可用。VIP是对外服务ip master节点故障，自动切换master。 两个slave节点同步主节点，用来读 Wang Li/CC/IHEP * - * 数据库平台测试效果 利用sysbench测试 执行80000次select 80000