- 1、本文档共29页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
淘宝
商品库MySQL 优化实践
QCon 2011 Beijing
核心系统数据库组
余锋(褚霸)
2011/04/08
Agenda
商品库项目背景介绍以及约
技术要求和方案
性能保证
安全性保证
运维保证
优化成果
交流时间
商品库( 单机,测试) 情况
• 无复杂查询,离散度高
• 记录数:1亿条键值对
• 记录大小:100 字节
• 数据文件:170G
• 访问热点情况:20% 的键占用55 %的访问量
• 键读写比例: 10 :1
硬件选择
• 主机: Dell; PowerEdge C2100;
• 处理器: physical = 2, cores = 12, virtual = 24
• 内存: 96 G
• RAID 卡:LSI MegaSAS 9260/512MB Memory
• PCI-E Flash 卡: Fusion-io ioDrive 320GB/MLC
• 硬盘: SEAGATE ST3300657SS 300G x 12
软件选择
• 发行版: Red Hat Enterprise Linux Server release 5.4
• 内核: Kernel | 2.6.18-164.el5
• 文件系统:Ext3
• Flashcache: FB 内部版本
• MySQL 版本: 5.1.48-log Source
Agenda
商品库项目背景介绍以及约
技术要求和方案
性能保证
安全性保证
运维保证
优化成果
交流时间
商品库技术要求
• 高可用,安全第一
• 高性能,性能平稳,性价比高
• 控制运维风险
技术方案
• MySQL数据库集群,数据水平切割,主从备份
• 采用高性价比PC服务器,大内存,强劲CPU ,可靠性高
• 采用高性能PCI-E Flash 卡作为cache, 提高系统的IO性能
• 充分利用系统各部件的cache, 大胆采用新技术
• 充分考虑容灾,在各个层面考虑数据的安全性
系统资源规划
内存分配:
• MySQL
• InnoDB buffer pool
• OS pagecache
• 驱动程序
IO能力分配:
• 读能力,零散读,提高IOPS
• 写能力,集中写,提高吞吐量
Cache 分配:
• MySQL 内部cache
• 匿名页面/ 文件页面
• Flashcache 混合存储
• Raid 卡内部cache
调优指导思想
• 杜绝拍脑袋,理论(源码)指导+ 精确测量+ 效果验证
• 内存为王
• 数据访问规律导向,随机数据和顺序数据尽量分离
• 尽量提高IO 的利用率,减少无谓的IO能力浪费
• 在安全性的前提下,尽可能的利用好系统各个层次cache
调优工具
• 源码+emacs+ 大脑
• 必备工具
o systemtap
o oprofile
o latencytop
o blktrace/btt/seekwatcher
o aspersa
o tcprstat
o sar
o gdb
• 自制工具
o bash脚本
o gnuplot 脚本
Agenda
商品库项目背景介绍以及约
技术要求和方案
性能保证
安全性保证
运维保证
优化成果
交流时间
MySQL 数据库
考虑因素:
• 主从备份带来的性能影响
• 复杂数据查询操作是否需要预留内存以及上限
• 数据备份dump 对系统的影响,避免系统
您可能关注的文档
- BRC_中信建投校园招聘面试经验2.pdf
- IICA通信例程说明文档.pdf
- 一、K3 Cloud实施初始化——安装部署实施篇.pdf
- 淘宝技术架构分享.pdf
- 超声波测距例程说明文档.pdf
- 流程设计用户场景-Jajas.pdf
- SPI通信例程说明文档.pdf
- 华为认证HCNA-Cloud云计算(H13-511)题库.pdf
- 智慧硬件_智慧应用平台打造智慧景区_.pdf
- Flutter 完全手册 - 小德_REN - 掘金小册51.pdf
- 四川省德阳市罗江中学2025届高三考前热身化学试卷含解析.doc
- 山东省枣庄现代实验学校2025届高三下学期第五次调研考试化学试题含解析.doc
- 吉林省长春市十一高中等九校教育联盟2025届高三一诊考试生物试卷含解析.doc
- 2025届江苏省盐城市伍佑中学高考仿真模拟化学试卷含解析.doc
- 2025届广西贺州中学高考冲刺押题(最后一卷)生物试卷含解析.doc
- 安徽省池州市贵池区2025届高三第一次模拟考试生物试卷含解析.doc
- 宁夏银川一中2025届高三(最后冲刺)化学试卷含解析.doc
- 广东省广州市增城区四校联考2025届高考压轴卷化学试卷含解析.doc
- 2025届邯郸市第一中学高考生物必刷试卷含解析.doc
- 2025届安徽省安庆市石化第一中学高考仿真卷化学试卷含解析.doc
文档评论(0)