开放平台下数据库高性能高可用及方案.pdfVIP

开放平台下数据库高性能 高可用方案 陈栋@沃趣科技 CEO @沃趣科技 概况  成立于2012年6月，由原阿里巴巴DBA/SA团队的技术骨干组成的创业团队  多年运维经验，技术领域涉及Oracle、MySQL、系统和运维自动化 服务  数据库和系统的架构设计、优化、实施  开放平台技术推广：开源数据库，Linux ，中间件，Flash 产品  QData : 高性能数据库一体机  QGuard : 数据库高可用平台  QMonitor : 数据库监控平台 优势  十年互联网运维理念  百TB数据高效处理能力  千套数据库和系统综合能力  万台服务器架构设计能力  自主研发的数据库运维产品 核心成员  陈栋 （@grassbell ）创始人CEO 阿里巴巴工作8年，任DBA团队资深经理。经历了Oracle从PC Server+磁盘阵列 到IBM小型 机+高端存储的升级，也经历了从集中式Oracle 到分布式MySQL的变迁。  李建辉 专注系统 曾在阿里巴巴从事系统、存储等维护、管理工作9年。经历阿里巴巴从百万到亿级PV ，熟知 在各种时期压力下网站架构、性能优化。  罗春 专注Oracle数据库 原阿里巴巴高级数据库专家，Oracle DBA团队技术Leader ，负责上百套Oracle数据库的运维 。擅长数据库优化设计，方案架构，提倡数据库运维自动化。  熊中哲 专注运维自动化 原阿里巴巴高级数据库工程师，负责数据仓库Oracle RAC数据库运维。专注于Oracle和 MySQL的线上自动化运维方案的设计与实现。  李春 专注MySQL数据库 原阿里巴巴MySQL DBA团队技术leader ，管理超过3000个MySQL实例。实现阿里第一个将 3亿产品从Oracle+小型机到MySQL+PC Server的平滑迁移。 那些年，从屌丝到土豪  04年：阿里的数据库没几台，都运行在PC服务器上 ，压力增长很快，宕机 已经变成习惯  05年：中国互联网界第一台IBM小型机在阿里落户，从此阿里数据库都逐 渐变成了IBM+Oracle+EMC  07年：这几年，阿里业务增长非常迅猛，但数据库一直很稳定，DBA的生 活很安逸 ，技术没有太多突破  08年：突飞猛进的业务压力，使得小型机和高端存储不断扩容，成本压力 巨大。我们突然意识到，被绑架了 那些年，从集中式Oracle到分布式MySQL  09年：开始尝试把一些不重要的业务迁移到MySQL上，核心业务开始梳 理接口，为未来迁移到MySQL做到分库分表做准备，同时培养MySQL 人 才  10年：对MySQL的信心越来越足，一些核心应用逐渐迁从Oracle移到 MySQL ，中文站3亿Offer ，淘宝的收藏夹 （分别是阿里和淘宝历史上最大 数据量的业务 ）。基于MySQL的分布式管理系统诞生，奠定了今后数据库 水平扩展及高可用的架构。数据库PC服务器超过400台  11年：淘宝最核心的用户中心、商品完成从集中式到分布式的迁移，连交 易系统也开始向MySQL迁移。数据库PC服务器超过1300台  12年：hbase ，oceanbase ，mongodb ，greenplum ，hadoop 如今…  整个阿里集团全面去掉了小型机和高端存储，数据库全部运行在PC服务器 上，配置SSD或者PCIe Flash  除了支付宝核心账务系统依然使用Oracle数据库，其他所有核心在线业务 全部使用分布式MySQL  海量数据分析业务，运行在阿里基于对Hadoop改造的云梯平台，接近2万 台服务器  自主研发关系型数据库OceanBase ，其他nosql的尝试…  阿里集团超过100个DBA ，1/3负责系统，2/3负责应用支持 为什么去IOE  成本压力  Oracle license虽然签署了ULA协议，但平均下来也是每年超过千万的费用  淘宝双11交易额：10年9.36亿，11年33.6亿，12年191亿，13年350亿  淘宝09年小型机和高端存储预算是nkw,如果还是这个架构,到2013年双十一 …….  避免商业产品的绑架