新浪微博redis优化历程 .pdfVIP

下载本文档

6
0
约7.26千字
约 36页
2016-03-21 发布于山西
举报
版权申诉

新浪微博redis优化历程 .pdf

1、本文档共36页，可阅读全部内容。
2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
5、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
6、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
7、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
8、VIP文档为合作方或网友上传，每下载1次，网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档

新浪微博redis优化历程

新浪微博redis优化历程陈波 @ﬁshermen 大纲 •  业务场景 •  Redis存储架构演进 •  一些经验 •  QA 业务场景-业务 •  Redis在新浪微博的应用通知提醒关系计数 (graph) 业务场景-数据 •  一些数据 6 IDC 500+servers 3700+ instances 千亿条记录 24T+ 内存 7千亿cmds/day 1.2万亿read/day 2 千亿write/day Redis存储前时代 Redis 前时代 •  热数据mc •  全量落地mysql •  数据量不大：Graph mc 10G，计数器 mc 2G •  开发速度问题出现 •  2010年，Graph mc 30G+ ，峰值 10wTPS •  Mysql 成为瓶颈 –  线程阻塞，访问卡顿 –  List 类型业务不适合mysql •  新的关系计算需求实现困难 –  大量关系计算：从MC取全量+本地计算-超时解决方案 •  初期方案 –  增大mc 容量到40G，Graph db 增至一主六从 –  监控并及时清理僵死线程 –  关系计算性能问题暂时无解 •  最终方案 –  引入Redis做storage (graph/counter) –  关系计算在redis实现 O(1) –  促进更多复杂需求 –  Graph db恢复一主三从小结 •  项目初期 –  30G- 日PV5kw- –  技术选型熟悉度 –  拼的是开发速度 •  产品需求与新技术相互促进 Redis存储初期 Redis初期 •  Redis 2.0 •  Graph存hash，40G 10w TPS ，4 Server •  Counter:20G 2w TPS，2 Server 问题出现 •  2011年，初期使用经验不足 –  数据分片过少，扩容困难 –  部分数据类型使用不当，内存超预期 –  多业务混放，拆分不便 •  可用性不够 –  小业务初期没有slave，server故障à服务异常 –  大业务挂载3-4个slave ，高峰期write超时，请求失败