阿里巴巴云时代的数据库管理.pdf

阿里巴巴云时代的数据库管理 阿里巴巴云时代的数据库管理 目录 阿里数据库技术团队概述个人简介 业务发展与规模化 挑战与机遇：性能、系统性问题、多样化 DBA的挑战与进化 云时代：让研发具备DBA的能力 个人简介 • 阿里巴巴数据库团队高级专家 • 《高性能MySQL 第三版》译者 • 09年研究生毕业加入阿里数据库团队，负责淘宝 核心数据库运维、管理、优化、配置，构建了淘 宝数据库第一代MySQL运维监控系统。 • 2013年开始支持阿里云数据库RDS运维与线上故 障处理，并开始探索并实践数据库服务产品化之 路，向用户提供数据库管理、数据传输、数据库 优化等服务产品。 • 个人博客： • Google: orczhou 阿里巴巴数据库技术团队概述 负责阿里旗下所有子公司的数据库管理。 负责历年双11、双12、春节红包等大型活动的数据 库容量规划、架构升级、运行稳定性等。 主导了阿里去IOE、异地多活等架构落地，负责阿 里巴巴MySQL 内核研发。 研发了iDB(企业数据库研发流程平台)、OceanBase 云平台、数据管理DMS、数据传输DTS等云产品。 数据库团队的进化 运维工具时代 • Oracle、小型机、存储、脚本 平台与服务时代 • 双11、去IOE、异地多活 云服务时代 • 云计算、OceanBase、Docker、DevOps、自助 来自业务的压力 2012年： 『某核心集群总共执行293亿次 SQL/天，集群总QPS达86万/ 秒，集群TPS11万 / 秒，单机QPS高达6.5万/ 秒』 2015年：约500万QPS 规模化与性能优化 • 简单的数学：5%的性能提升意味什么? 10000台主机*5万*5% = 2500万 10000台主机*5万*10% = 5000万 技术进化1：对性能极致的追求 对性能极致的追求：电商库存场景 • 原生MySQL版本事务数：550 • 业务：每秒卖出多少商品 成本巨大、架构复杂 对性能极致的追求：电商库存场景 Version 1 Version 2 Version 3 •commit on success •Row Cache •InnoDB Strict Concurrency •select from update •Group Update 对性能极致的追求：电商库存场景 45000 1400 1300 40000