2010构建可扩展微博架构-50P.pptVIP

单点问题 单点故障, SIGSEGV 如何应对 1. Consistent hash 2. Read-through cache Consistent hash 原理 优点 震荡最小 Read-through cache Read-through and Write-through Products or projects MySQL memcached UDF Cache money for Ruby on Rails Or wrap a proxy for the db driver, in any language Evictions问题 Evections: cache数据被踢 性能的噩梦 Latency产生的源头之一 如何避免evictions 规划cache容量 将永久数据与临时数据分开 不使用随机字符作为key Multiget问题 When memcached servers are CPU bound, adding more memcached servers doesnt help serve more requests. - Jeff Rothschild, Vice President of Technology at Facebook Cache挑战：multiget hole 解决方法 Memcached replication 架构挑战：海量存储 架构挑战： 国内网络带宽问题 地理分布 考虑到以下原因，需要分布式部署 访问速度 IDC不可用 故障 分布的核心是数据分布 数据地理分布原理 Master-slave Master-master 2PC/3PC Paxos /data/multi-idc-design/ 地理分布的方案 MySQL master/slave Dynamo/Cassandra PNUTS 架构挑战：API访问量 以新浪微博开放平台为例 REST API 编程简单，library丰富 可用curl, javascript实现一个client 缺点单向询问方式 如何解决轮询压力 解决方案：Sina App Engine Sina App Engine 应用云平台提供微博API底层支持 并可以host微博app 微博, Web 2.0最核心技术之一 还有更多的架构挑战等待解决 欢迎加入新浪微博技术团队 QA 新浪微博：@ TimYang Twitter: @ xmpp Email: iso1600 @ 欢迎交流 PPCCN搜索营销社区: 所有在线营销的主题，都可以在PPCCN社区讨论 QQ客服: 800025460 提供在线营销答疑，需要什么资料也可以向他要 欢迎加入我们的QQ群 /?page_id=65 常用微博地址： /dsdhcom 电商导航腾讯微博 /ppccn PPCCN新浪微博 构建可扩展微博架构 Tim Yang 新浪微博 技术架构师 4A广告提案网 | | /guanggaoren | /ggren www.G 从博客到微博 博客 功能 发表 浏览 留言 Content Manager System 博客 技术, LAMP MySQL master/slave Memcached PHP CDN 微博 微博，产品 Real-time 关注关系 信息聚合 信息聚合 信息聚合 微博两种信息聚合设计模式 Push(推) Pull(拉) Push 把微博看做邮件 Inbox: 收到的微博 Outbox: 已发表微博 发表：存到所有粉丝inbox(重) 查看：直接访问Inbox(轻) Push(Figure) User A UpdateAction Inbox (Append to 1’s home timeline) Inbox (Append to 2’s home timeline) Inbox (Append to 3’s home timeline) Followers of User A = 1, 2, 3 Push 优点：实现简单，首选 缺点：分发量 Pull 发表：存到自己outbox(轻) 查看：所有关注对象Inbox(重) Pull User I Get home_timeline Outbox (statuses sent by A) Outbox (Statuses sent by B) Outbox (Statuses sent by C) User I’s Following List = A, B, C Pull 优点：节约存储 缺点：计算量大 微博是一个消息分发系统 可采取推或拉的方式实现 架构挑战：峰值 - 如除夕、春节 请求量 如果发表量5,000万/天 平均：578条/