MySQL主从同步--原理、问题、解决方案与应用@淘宝丁奇.pptVIP

Transfer的保障和退化 保障 Transfer本身挂了数据不丢（持久化的数据队列） Slave出错重启后，继续同步直接start slave Master重启后自动重新同步 维护方便。 stop slave; change master; slave_skip_errors 直接接入现成监控系统 退化 Statement模式下某些语句不支持。 支持的语句性能也不提升 事务打散 从库上不再支持rollback (什么时候从库会收到rollback?) Transfer方案性能 原始性能 效果对比 MySQL主从同步基本概念和配置步骤 MySQL主从同步基本流程 延迟的原因 解决方案一 解决方案二 －－Transfer 应用场景和业务限制 保障和退化 在多主同步的应用 不能解决的光速问题 不能解决的更新延迟 Transfer在多主同步的应用 多主复制的需求来源 备份节约机器 数据聚集分析 理想方案 MySQL不支持 Transfer在多主同步的应用 现在方案 浪费硬盘空间 增加额外更新 更大的延迟 Transfer在多主同步的应用 Transfer方案 MySQL主从同步基本概念和配置步骤 MySQL主从同步基本流程 延迟的原因 解决方案一 解决方案二 －－Transfer 应用场景和业务限制 保障和退化 在多主同步的应用 不能解决的光速问题 不能解决的更新延迟 无法解决的光速问题 抽象回简单场景，在解决cpu利用问题后，从库更新性能与主库相同 新问题：跨机房单个数据延迟 杭州到青岛线路就是那么长 20ms 1 2 3 4 5 6 回到最开始的一个问题 什么是延迟 无法解决的光速问题 1 2 3 4 5 6 如果我们把延迟定义为 3到6的时间差呢？ 无法解决的光速问题 让用户多等20ms 换取数据一致性 一起来讨论 MySQL主从同步基本概念和配置步骤 MySQL主从同步基本流程 延迟的原因 解决方案一 解决方案二 －－Transfer 应用场景和业务限制 保障和退化 在多主同步的应用 不能解决的光速问题 不能解决的更新延迟 1 2 3 4 5 6 一个耗时10ms的更新，至少延迟10ms 不能解决的更新延迟 全同步？－－no 这回我们关注6本身, 要求完全没有延迟怎么作？ 不要陷入锤子钉子的误区 放弃这方案，用双写 MySQL官方版5.6的多线程同步介绍 启发 按DB分线程 为什么我们当时没这么作？ 跨DB的则线程合并 为什么我们当时没这么作？ Transfer与其实质区别是粒度不同 被按DB分提醒了 – 后续改进 课程回顾 、总结页 如何配置主从同步 主从同步原理 主从同步性能问题现状 优化方向 安全的妥协方案 Transfer的其他应用 谢谢 * 说明：直接修改slave代码，风险比较大 说明：直接修改slave代码，风险比较大 MySQL主从同步 －－原理、问题、解决方案和应用 @淘宝丁奇 2009-8-22 讲师介绍 讲师简介： 丁奇： 08年至10年在百度贴吧，作服务端开发，开始接触MySQL。之后由于业务需要开始看MySQL代码，囫囵吞枣不求甚解。10年得机会进入淘宝核心系统数据库组，主要是MySQL优化和提升可维护性。参与IC、TC读库调优；写了一些插件，打了几个patch到官方；实现MySQL主从同步工具、设计MySQL异构数据同步方案、MySQL中间层。一直游离在了解需求、设计方案、推广方案的三点一线上 。 课程目标与目标学员页 目标学员：对存储引擎、系统优化有兴趣的同学。 课程目的 : 介绍主从同步的概念、原理、存在的问题和优化思路。 学员能够获得的收获： 主从同步的基本配置步骤和注意事项、探讨追查和解决问题的思路 MySQL主从同步基本概念和配置步骤 MySQL主从同步基本流程 延迟的原因 解决方案一 解决方案二 －－Transfer 应用场景和业务限制 保障和退化 在多主同步的应用 不能解决的光速问题 不能解决的更新延迟 MySQL主从同步基本概念和配置步骤 用于实例之间同步数据，可以级联 只需要更新主库 备库用于备份或查询分流 配置注意事项 主库必须开启binlog Master和slave的server-id不能相同 同一个Maser的多个slave，server-id也不能相同 Binlog_format最好相同。 在log-slave-updates=1时，不允许Master是row，slave是statement这种是不允许的。 MySQL主从同步基本概念和配置步骤(续) 配置基本步骤 主库上grant权限 从库上change master to …; Start slave 问题 MySQL主从同步基本流程 Master S