淘宝数据库架构演进过程范例.ppt

光棍节大促 活动前，经过了充分的准备与系统评估工作：CDN面临的压力最大，预估流量将会达到280G左右，准备了各个层面的系统降级方案。 一个小意外 Dataguard+mirror redo对写的影响比较大，临时删除远程的redo member解决这个问题 MySQL源代码研究 我们主要从两方面着手： MySQL内部，源代码熟悉，性能优化，新增功能 MySQL外部，比如利用binlog做数据复制 MySQL源代码研究 内部新增的一些功能： a.给innodb动态加数据文件 b.禁止新连接 c.表的访问统计 d.Innodb ssd加速 e.Mysql replication并行复制 MySQL Binlog解析数据复制中心 解决商品，用户，评价，收藏夹等应用向数据仓库，搜索增量同步数据的需求 MySQL Binlog解析数据复制中心 C client端特性： a. 支持mysql master,slave主备切换，获取binlog不受影响 b. 自动重连主机 c. 支持checkpoint, 支持断点续传binlog Java端复制代码特性： a. 支持statement, row两种复制模式 b. 支持按规则复制 c. 支持一定条件下的并行复制 c. 支持checkpoint 异地多数据中心的数据同步 杭州 青岛 other 异地多数据中心的数据同步 除了oracle dataguard,master-slave replication数据复制，我们还有其它哪些可选方案？ 淘宝自主数据库Oceanbase 动态数据与静态数据进行分离,动态数据采用集中式，静态数据存放与服务采用分布式 设计了一个宽表，冗余数据，将离散型IO合并成连续型IO 每晚动态数据，与静态数据合并一次 将首先在收藏夹应用上试点 总结 架构就是用一些简单的道理，去解决问题 对多种技术，业务特征，细节都要有所了解，考虑周全 识别系统的主要问题，花80%的精力去解决80%的问题 架构都是有时效性的，需要不断探索或者接受新的思路 Follow me Taobao dba 团队blog / 我的blog subject: Data Architecture / 我的新浪微博:丹臣 /zhaolinjnu 我的msn: echo_lin@ Questions ? MySQL到Oracle,PC server到IBM小型机的迁移，极大的提升了数据库的处理能力，在高端存储的帮助下，IO能力也得到了极大的提升，使大家能够在较长一段时间内，集中精力做业务，数据库系统能够快速响应业务发展的各种需求 小型机硬件不断升级，高端存储不断扩展，Oracle商业软件费用增加，公司面临成本压力，我们的技术没有得到提升 再好的硬件也有极限，集中式始终存在要命的扩展问题，整个系统出现IOPS，连接数等各种瓶颈 随着公司的发展，各类技术人才开始汇集，我们可以有所作为 * * 淘宝数据库架构演进过程 丹臣/赵林 数据架构师 提纲 淘宝数据库发展的三个阶段 用户，商品，交易现在的架构 2010双11大促的挑战 MySQL源代码研究的一些思路 淘宝自主数据库Oceanbase原理介绍 淘宝的数据很美丽 淘宝数据库发展三阶段 SQL语句变化 多表关联Join 单表复杂查询 主键查询 SQL语句复杂程度由繁到简的过程，折射出淘宝数据架构的一些变化。 淘宝电子商务网站的特点 高并发，PV13亿，光棍节促销PV达到了17亿 数据实时性要求高 数据准确性要求高 大多数页面属于动态网页 网站需要大量商品图片展示 用户通过搜索引擎，广告，类目导航寻找商品 网站读多写少，比例超过10:1 卖家相关的数据量较大，比如商品数，评价数 业务量快速增长 不同的时期，不同的策略 正是因为如上的业务特点： 早期的淘宝前端应用系统，严重依赖于数据库系统 早期单机式的mysql的使用方式，在业务的高速发展下，很快达到瓶颈 Mysql迁移到Oracle，并升级到小型机，高端存储后，几年的时间里，满足了淘宝业务快速变化发展的需要。 我们的业务发展很快，但我们的技术没有成长 数据库里的数据 第一，二阶段的单台数据库里，用户，商品，交易等数据都在一起，存在许多的关联查询，应用完全耦合 用户 商品 交易 评价 收藏 连接数问题 Oracle数据库 太多的应用机器 有限的链接池 需要数据库连接 小型机的内存有限，发现了Oracle数据库有连接数瓶颈，5000个以后相当吃力。 中心化，服务化 用户，商品，交易三大中心的建设 HSF的诞生 中心化后面临另一个问