淘宝商品库优化实践解析.pdf

淘宝 商品库MySQL优化实践 QCon 2011 Beijing 核心系统数据库组 余锋（褚霸） 2011/04/08 Agenda • 商品库项目背景介绍以及约束 • 技术要求和方案 • 性能保证 • 安全性保证 • 运维保证 • 优化成果 • 交流时间 时刻关注企业软件开发领域的变化与创新 2 商品库(单机)情况 • 无复杂查询，离散度高 • 记录数：1亿条, 键值记录 • 记录大小：100字节 • 数据文件：170G • 访问热点情况：20%的商品占用55％的访问量 • 读写比例：10：1 时刻关注企业软件开发领域的变化与创新 3 硬件选择 • 主机：Dell; PowerEdge C2100; vA00 (Rack Mount Chassis) • 处理器：physical = 2, cores = 12, virtual = 24 • 内存：96 G • RAID卡：LSI MegaSAS 9260/512MB Memory, BBU Present • PCI-E Flash卡: Fusion-io ioDrive 320GB/MLC • 硬盘: SEAGATE ST3300657SS 300G x 12 时刻关注企业软件开发领域的变化与创新 4 软件选择 • 发行版：Red Hat Enterprise Linux Server release 5.4 • 内核：Kernel | 2.6.18-164.el5 • 文件系统：Ext3 • Flashcache: FB内部版本 • MySQL 版本： 5.1.48-log Source 时刻关注企业软件开发领域的变化与创新 5 Agenda • 商品库项目背景介绍以及约束 • 技术要求和方案 • 性能保证 • 安全性保证 • 运维保证 • 优化成果 • 交流时间 时刻关注企业软件开发领域的变化与创新 6 商品库技术要求 • 高可用，安全第一 • 高性能，性能平稳，性价比高 • 控制运维风险 时刻关注企业软件开发领域的变化与创新 7 技术方案 • 16 ×2 MySQL 数据库集群，数据水平切割，主 从备份 • 采用高性价比PC服务器，大内存，强劲CPU，可 靠性高 • 采用高性能PCI-E Flash卡作为cache, 提高系统 的IO性能 • 充分利用系统各部件的cache, 大胆采用新技术 • 充分考虑容灾，在各个层面考虑数据的安全性 时刻关注企业软件开发领域的变化与创新 8 系统资源规划 内存分配： • MySQL • InnoDB buffer pool • OS pagecache • 驱动程序 IO能力分配： • 读能力，零散读，提高IOPS • 写能力，集中写，提高吞吐量 Cache分配： • MySQL内部cache • 匿名页面/文件页面 • Flashcache 混合存储 • Raid卡内部cache 时刻关注企业软件开发领域的变化与创新 9 调优指导思想 • 杜绝拍脑袋，理论（源码）指导+精确测量 +效果验证 • 内存为王 • 数据访问规律导向，随机数据和顺序数据