淘寶 商品库MySQL优化实践QCon 2011 Beijing.pptVIP

淘宝 商品库MySQL优化实践QCon 2011 Beijing ?核心系统数据库组 ?余锋（褚霸） 2011/04/08 Agenda 商品库项目背景介绍以及约束 技术要求和方案 性能保证 安全性保证 运维保证 优化成果 交流时间 ? 商品库(单机，测试)情况 无复杂查询，离散度高 记录数：1亿条键值对 记录大小：100字节? 数据文件：170G 访问热点情况：20%的键占用55％的访问量 键读写比例： 10：1 ? 硬件选择 主机：?Dell; PowerEdge C2100; 处理器：?physical = 2, cores = 12, virtual = 24? 内存： 96 G? RAID卡：LSI MegaSAS 9260/512MB Memory PCI-E Flash卡: Fusion-io ioDrive 320GB/MLC? 硬盘: SEAGATE ST3300657SS??300G?x 12? 软件选择 发行版：?Red Hat Enterprise Linux Server release 5.4 内核：?Kernel | 2.6.18-164.el5? 文件系统：Ext3? Flashcache: FB内部版本? MySQL 版本：? 5.1.48-log Source? Agenda 商品库项目背景介绍以及约束 技术要求和方案 性能保证 安全性保证 运维保证 优化成果 交流时间 商品库技术要求 高可用，安全第一? 高性能，性能平稳，性价比高? 控制运维风险 ? ? ? ? 技术方案 MySQL数据库集群，数据水平切割，主从备份? 采用高性价比PC服务器，大内存，强劲CPU 采用高性能PCI-E Flash卡作为cache,? 提高系统的IO性能? 充分利用系统各部件的cache, 大胆采用新技术? 充分考虑容灾，在各个层面考虑数据的安全性 系统资源规划 内存分配： MySQL InnoDB buffer pool OS pagecache 驱动程序 ? IO能力分配： 读能力，零散读，提高IOPS 写能力，集中写，提高吞吐量 ? Cache分配： MySQL内部cache 匿名页面/文件页面 Flashcache 混合存储 Raid卡内部cache 调优指导思想 杜绝拍脑袋，理论（源码）指导+精确测量+效果验证 内存为王 数据访问规律导向，随机数据和顺序数据尽量分离 尽量提高IO的利用率，减少无谓的IO能力浪费 在安全性的前提下，尽可能的利用好系统各个层次cache ? ? ? 调优工具 源码+emacs+大脑 必备工具 systemtap oprofile latencytop blktrace/btt/seekwatcher aspersa tcprstat sar gdb? 自制工具 bash脚本 gnuplot脚本 ?? ?? Agenda 商品库项目背景介绍以及约束 技术要求和方案 性能保证 安全性保证 运维保证 优化成果 交流时间 MySQL数据库 ?考虑因素： 主从备份带来的性能影响 复杂数据查询操作是否需要预留内存以及上限 数据备份dump对系统的影响，避免系统swap 开启binlog带来的性能开销? 限制最大链接数 ? ############################# max_binlog_cache_size=2G max_binlog_size = 500M max_connections = 1020max_user_connections=1000 query_cache_size = 30M InnoDB引擎 考虑因素： 尽可能大的BP(buffer pool) 日志和数据分设备存储 离散数据走direct-IO，顺序日志走buffered-IO 减少脏页的同步，提高命中率 减少锁对多核CPU性能的影响? 提高底层存储默认的IO能力 ? #############################? innodb_buffer_pool_size = 72G innodb_flush_method = O_DIRECTinnodb_sync_spin_loops=0innodb_log_group_home_dir = /u02/innodb_io_capacity=2000 innodb_thread_concurrency = 64 高速页缓存 考虑因素： page资源倾斜给数据库, 尽量不浪费，兼顾临时内存申请 避免NUMA架构带来的zone内存分配不均而导致的swap现象 cache大部分由InnoDB日志产生，适时清除，限制page数量 ? #######################