﹝1﹞_阿里分布式数据库服务原理与实践.pptVIP

* 阿里分布式数据库服务 原理与实践 沈询 自我介绍 ? ? ? ? 花名 沈询 DRDS 目前负责架构设计 阿里分布式数据层（TDDL）负责人 参与过阿里集团大部分的Oracle到MySQL的 迁移工作 ? 在分布式存储领域经验比较丰富 Agenda ? DRDS 介绍 ? 在线数据迁移原理与应用 ? 在线应用数据拆分经验 DRDS介绍 DRDS介绍 ? ? ? ? 起源 核心价值 应用场景 架构与原理 DRDS介绍-起源 ? 起源 – DRDS 脱胎于 alibaba的cobra 分布式数据库引擎 ? 06年上线使用 ? 在alibaba有80+应用在使用，目前已经开源 ? DRDS的80%的代码出自cobra proxy – Sql解析器 – 执行流程 – 配置 DRDS介绍-起源 ? 起源 – DRDS吸收了taobao TDDL分布式数据库引擎的 大量优秀经验和解决方案 ? 08年上线使用 ? 目前在使用的应用900+ ? 大量实际应用解决方案支持 – – – – 分布式join 分布式aggregation (group sum max min) 异步索引构建 Auto sharding ,自动扩容缩容 DRDS介绍-起源 ? 起源 – DRDS专门针对外部用户进行了配置的重新设 计 ? 简化了配置操作规范与流程 ? 尽可能使得应用像操作一个数据库一样的操作 DRDS ? 用户的专业化指导 DRDS介绍-核心价值 ? 核心价值 – mysql 兼容性 ? 95%以上的mysql查询可以直接在drds上运行 ? 在大部分情况下，可以把drds当做一个单机mysql来使用。 ? 适当的做出了功能上的限制，以保证用户可以一直能够 享受到线性的水平扩展能力。 – 自动数据运维 ? 把机器简单的添加到集群内就可以实现水平扩展和自动 的负载均衡。 – 管理更容易 ? 建库建表增减字段，一个命令可以搞定 DRDS介绍-应用场景 ? 应用的业务需求单机已经无法满足 – 一个RDS数据库的最大实例也无法满足用户的 需求 ? 容量瓶颈 ? 事务数瓶颈 ? 读取瓶颈 DRDS介绍-应用场景 ? Scale up（单机垂直扩展） – 购买或更换更高端的机器-oracle rac /高端存储盘柜 ? 优势 – 业务不用修改代码 – 业务改动小 ? 劣势 – 架构被把持，更换存储成本巨大 – 定价权在数据库软件厂商 – 把定时炸弹的时间往后拨了一些时间，最终还是会 炸的 DRDS介绍-应用场景 ? Scale out（多机水平扩展） – 使用廉价数据库阵列来满足用户需求--DRDS – 优势 ? 更轻量的使用数据库，未来更换的成本小 ? 一次重构，以后基本再无需担心系统瓶颈 – 劣势 ? 重构需要付出成本 ? 分布式环境下一些查询会被限制不允许执行 ? 完成相同功能需要比单机扩展付出更多成本 DRDS介绍-应用场景 ? 理想状态 – Scale out 与scale up结合 ? 让系统架构具备scale out的能力 ? 尽可能提升单机利用率 – 但不要过早过度设计 2.5 2 1.5 1 0.5 0 单机垂直扩展成本 多机水平扩展成本 DRDS介绍-架构与原理 DRDS介绍-架构与原理 ? DRDS-Server – 直接为应用或者用户提供基于MySQL协议的数据服务， 是整个系统提供服务的核心部分，数据服务以LVS集 群的方式对外提供。 ? DRDS-Manager – 为整个系统的各个子系统提供管理、控制和协调工作， 并对相关配置进行持久化；该系统目前以主备的模式 提供高可用服务。 ? 用户管理Web控制台 – 用户管理控制台是用户参与系统管理的入口，用户可 以在上面创建表、规则、修改表结构、执行数据迁移 和扩容工作等，是系统面向用户的控制台。 DRDS介绍-架构与原理 ? 系统管理Web控制台 – WebServer，系统管理控制台是运维与运营方参 与整个系统管理和监控的入口，使用方可以查看 系统运行状况、监控系统关键指标等，是系统面 向管理的控制台。 DRDS-Manager ? DataMigration – 支持由用户触发的数据迁移和扩容操作，系统采 用全量+基于binlog增量的方式工作。 ? RDS实例群 – 基于MySQL的数据库实例，可以是基于现有proxy 的，也可以直接基于MySQL实例的。 DRDS介绍-架构与原理 DRDS介绍-架构与原理 ? 流程 ? AST – 抽象语法树 – 标记SQL的组成方 式 ? 执行计划 –