MySQL数据库运维分布式集群.ppt

MySQL数据库运维 讲师 王恒 DATAGURU专业数据分析社区 DATAGURU专业数据分析社区 MySQL数据库运维 第11周 法律声明 【声明】本视频和幻灯片为炼数成金网络课程的教学资料，所有资料只能在课程内使用，不得在课程以外范围散播，违者将可能被追究法律和经济责任。 课程详情访问炼数成金培训网站 炼数成金逆向收费式网络课程 Dataguru（炼数成金）是专业数据分析网站，提供教育，媒体，内容，社区，出版，数据分析业务等服务。我们的课程采用新兴的互联网教育形式，独创地发展了逆向收费式网络培训课程模式。既继承传统教育重学习氛围，重竞争压力的特点，同时又发挥互联网的威力打破时空限制，把天南地北志同道合的朋友组织在一起交流学习，使到原先孤立的学习个体组合成有组织的探索力量。并且把原先动辄成千上万的学习成本，直线下降至百元范围，造福大众。我们的目标是：低成本传播高价值知识，构架中国第一的网上知识流转阵地。 关于逆向收费式网络的详情，请看我们的培训网站 第9周作业点评 脚本 问题 使用文件重定向 思路 整合之前的脚本，成为一个完整的工具集 不断为工具集添加功能，满足规模化运维需求 工具测试 perf工具测试 很赞 第10周问题回复 分片和分区 partition sharding sharding实现 从业务架构到数据库整个链路都需要进行架构改变 是系统设计到开发细节都需要转变 大纲 分布式事务实现 分布式事务 事务补偿 复制中心 数据流服务 消息服务 异构数据转存 多中心分布式架构 架构设计 数据链路管理 数据一致性校验 数据延时管控 分布式事务实现 分布式事务 场景：从用户1转账到用户2 1：prepare 2：commit/rollback commit失败 对账机制 日志回补机制 问题 实时性 一致性高 全局分布式事务锁 user_0001 DB_01 user_0002 DB_02 APP 1 1 2 2 分布式事务实现 事务补偿 场景：一致性及时性要求低 通过消息中间件发送消息 通过校验机制保证事务 消息失败 校验逻辑处理 对账机制 问题 事务延迟 最终一致性 无分布式事务锁 user_0001 DB_01 user_0002 APP Reliable Message Queue Checking DB_02 message_0001 message_0002 复制中心 数据形态 增量数据 全量数据 数据来源 MySQL的binlog Oracle的archive log HBase SQL Server ...... 数据存储 实时内存访问 历史数据存储 DB DB DB ...... Replicate Center Replicate ...... Replicate Replicate APP Replicate Center 复制中心 数据流服务 不同数据流服务订阅复制中心数据 减少DB查询压力 透明异构数据源 M S APP Replicate Search DW Archive ...... 复制中心 消息服务 消息更新cache 消息回流业务 Replicate Center M S APP Replicate Message Center Cache 复制中心 异构数据转存 Replicate统一数据流格式 实现不同writer写入格式 MySQL Oracle HBase ...... Replicate Center Replicate ...... Replicate Replicate MySQL Oracle HBase ...... 多中心分布式架构 Replicate：数据库的增量数据 Sync：规则同步模块 M S M S Replicate Center Replicate Center Replicate Replicate Sync Sync CN US APP APP 多中心分布式架构 数据链路管理 源端MS切换 Replicate切换 Sync切换 终端MS切换 M S M S Replicate Center Replicate Center Replicate Replicate Sync Sync CN US APP APP 多中心分布式架构 数据一致性校验 M S M S Replicate Center Replicate Center Replicate Replicate Sync Sync CN US APP APP Checking Checking 多中心分布式架构 数据延时管理 APP访问源切换 M S M S Replicate Center Replicate Center Replicate Repl