低成本和高性能MySQL云架构探索演示教学.pptVIP

MySQL平台设计原则 平台对外保持单一入口，对内维护单一的资源池。 保证服务的高可用性，消除单点故障 保证系统是弹性可伸缩的，可以动态的增加、删减计算与存储节点。 保证分配给用户的资源也是弹性可伸缩的，资源之间相互隔离。 平台挑战和设计原则 平台架构 平台核心部件 讨论 平台架构第一版 第一版的经验和教训 经验 采用开放成熟的第三方部件的好处 开放的平台，方便用户扩展 热部署和升级对不停机维护的意义 容错系统设计的重要性 教训 保持和MySQL的绝对兼容的重要性 数据访问主路径必须短且稳定 proxy 性能、稳定性和成本的关系 日志实时收集和处理的难度 系统各部件部署的粒度，减少系统升级带来不良影响 平台架构第二版 平台特性 平台足够稳定，支持热升级 支持几千台物理机规模， 以对用户透明的形式提供主从热备、数据备份、迁移、容灾、读写分离、分库分表功能 资源隔离，按需分配和限制CPU、内存和IO资源 不影响提供数据服务的前提下根据用户业务的发展动态的扩容和缩容 屏蔽数据节点不同的软硬件差异 平台概况 稳定性生产系统验证过 依赖的开源组件：Mnesia、Lvs、RabbitMQ、ZooKeeper 代码规模 核心使用以高性能、健壮以及可伸缩性出名的Erlang语言开发 5万行Erlang代码，3万c代码，2万其他代码 六人团队，历时1年 为什么要用Erlang实现 高并发,高性能,集群易扩展 时间检验的高可靠 强大的管理功能,方便的问题定位支持 强大的交互性, 与其他系统整合能力 平台挑战和设计原则 平台架构 平台核心部件 讨论 创建数据库实例流程 数据主路径流程 LVS 安全隔离 L4流量切割，实现负载均衡 Proxy故障自动转移 ZooKeeper 作为配置服务器 提供分布式锁 MySQL插件监控所有实例的可用性 RabbitMQ Erlang消息机制与AMQP极度吻合 系统中各节点间的可靠通信（不包括SQL查询、日志等大数据流的传输） 系统各部件广播服务 标准的AMQP协议，方便第三方对接和扩展 工作流方式消息流动，方便监控 Mnesia分布式数据库 MySQL NDB出自同门，可靠性长时间验证过 Mnesia支持分布式事务，也支持脏读写 无中心点，带持久内存数据库，数据存取软实时 核心元数据全集群可见 * * * * * * * * * * * * * * * * * * * * * * * * * * * 低成本和高性能 MySQL云架构探索 平台挑战和设计原则 平台架构 平台核心部件 讨论 MySQL运维面临的问题 易用性偏差 性能 软硬件未经优化，处于原始阶段 不同阶段的软硬件性能相差巨大 集群 主备不完全同步和备机利用率低 以业务划分，集群分散管理，运维成本高 * * * * * * * * * * * * * * * * * * * * * * * * * * *