Alibaba数据库运维最佳实践.pptVIP

* * * * * * * Alibaba数据库运维最佳实践 张瑞 @ Alibaba运维部 Alibaba数据库发展历程 成长的烦恼 从PC服务器到小型机 集中式ORACLE数据库 可用性依赖高端硬件 性能无法线性扩展 解决方案 扩展性与高可用 分布式MySQL数据库集群? 数据同步解决方案 基于日志解析的数据同步 提升数据库性能 SSD高性能数据库集群 Alibaba分布式数据库 分布式数据库架构 概述 MySQL数据库 应用透明访问 DB Proxy 功能分区 数据分片 高可用，可扩展 性能与运维 缺点分析 应用受限 关系型弱化 不支持事务 功能增强 跨节点Join 排序分页 数据切分策略-Virtual Partition Hash Virtual partition Virtual partition Virtual partition Virtual partition Virtual partition Virtual partition Physical node Virtual partition Virtual partition Virtual partition Virtual partition Virtual partition Virtual partition Physical node Virtual partition Virtual partition Virtual partition Virtual partition Virtual partition Virtual partition Physical node Virtual partition Virtual partition Virtual partition Virtual partition Virtual partition Virtual partition Physical node Virtual partition Virtual partition Virtual partition Virtual partition Virtual partition Virtual partition Virtual partition Virtual partition Physical node Physical node Virtual partition Virtual partition Virtual partition Virtual partition Virtual partition Virtual partition Virtual partition Virtual partition MySQL高可用方案 基于MySQL复制 应用透明访问 探测机制简单 切换快，影响小 配置灵活，节省资源 DRBD+Heartbeat ? Master database Master database Heartbeat DB Proxy App Replication Heartbeat Connection pool 数据库高可用与硬件选型策略 ORACLE 集中式架构 Shared-disk? HA方案：商业软件 硬件选型策略 小型机，4路高性能PC 性能，扩展性，可用性 外接存储设备 MySQL 分布式架构 Shared-nothing HA方案：DB Proxy 硬件选型策略 2路PC服务器 处理能力与IO均衡 SAS+SSD混插 数据同步解决方案 数据同步方案分析 为什么需要数据同步？ 多数据中心架构 系统之间的数据交互 跨平台数据库同步 数据库扩展性问题 现有解决方案 数据库触发器记录变化 系统之间数据交互 DBLink 外部文件 商业产品分析 ORACLE Dataguard，MySQL Replication Shareplex，Goldengate 基于日志解析的数据同步方案 概述 替代触发器 实时解析，延迟小 对数据库性能影响小 数据库，文件，图片一致性? ORACLE,MySQL统一解决方案 解析主键，实时抽取? 支持多种目标端 功能增强 解析字段 并行应用 提取，打包 解包，应用 日志数据库 目标数据库 外部文件 索引 Cache 源数据库 日志解析 搜索引擎实时更新 数据库日志实时解析 搜索引擎实时更新 解决搜索延迟的问题 提升数据库处理能力 读写分离架构 应用 搜索引擎 数据库 日志解析 消息通知 更新索引 查询索引 查询详细信息 数据库变化 写操作 SSD高性能数据库 SSD性能特点分析 SSD vs Hard Disk SSD： IOPS：8K read 10000+，8K write 2000+ 吞吐：1M read 200M，1M w