Feed架构介绍精选.pdfVIP

Feed架构介绍 原⽂出处：http://weibo .com/p/ 100 1643877261186063112 作者：胡忠想@古⽉中⼼相⼼ 微博作为当今中国最⼤的社交媒体平台， 天都有上亿⼈访问。⽽Feed作为微博最为 核⼼的功能， 天有⾼达数⼗亿的请求，⾼峰期 秒的请求量上万。如何设计⾼可⽤ 的Feed系统，来应对如此⾼并发的访问，极具挑战。 下⾯，我们将具体探讨微博Feed系统的架构，希望通过这次讲解，⼤家能够掌握微博 Feed系统架构的基本知识。 ⼤纲 ⼀、初探Feed-What is feed ？ ⼆、Feed业务体系 三、Feed系统架构设计 四、未来 作业 ⼀、初探Feed-What is feed？ 从⼴义上讲，Feed是指为满⾜⽤户以某种形式持续获得更新信息的需求⽽提供的格式 标准的信息出⼜。 1、**PC Feed** 2、mobile feed 微博体系中，Feed是指⽤户通过关注关系，聚合好友最新微博以供⾃⼰消费的信息服 务，其中也包括分享微博。 分享 倾听 看新闻 围观 ⼆、Feed业务体系 1、微博 2、page 3、Card 4、计数器 5、未 数、话题、分组、转评赞、⼴告和趋势 三、Feed系统架构设计 1. 如何设计⼀个⾼可⽤的Feed系统？ 如何存储⽤户发表的微博 如何聚合关注⽤户发表的微博 2. Feed存储 Feed特征 天发博量⼤：上亿条 发博峰值⾼：⼏万/s 并发访问量⼤：⼏万/s 访问热点集中：最近三天占99 存储选型 存储特点 持久化：MySQL 、Redis、HBase 并发读QPS ：⼏百万/s ：Memcached、Redis 最近三天热点数据：Memcached 实现⽅案 Memcached+M SQL Memcached存储最近三天热点数据、MySQL存储全量数据 3、Feed存储-M SQL 分库分表 按访问⽤户维度hash来分库 按访问时间维度来分表 部署形式 ⼀主多从 读写分离 HA 主从机制、⾃动切换 backup离线灾备 4、Feed存储-Memcached ⾼可⽤性架构 业务架构 mvd ：存储⽤户最近15天50条。 mvl ：存储⽤户最近200条。 5、Feed聚合 如何聚合关注⽤户的微博？ 拉模型 优缺点 优点：架构简单、⼀致性好、写⼊过程开销⼩ 缺点：写少读多，⽹络开销⼤，资源读取量⼤ 推模型 优缺点 优点：下⾏⽹络开销⼩，资源成本低 缺点：写⼊成本较⾼，资源写瓶颈⾼ 四、未来 业务发展 分发控制 智能Feed 实时反馈 架构发展 存储架构 消息架构 可插拔 cell模型 作业 设计⼀个简化的Feed系统。 – 10亿⽤户， 天发表1亿条微博。 – 平均 秒500次feed请求，平均 个⼈关注10个⽤户。 – 平均 秒20000次feed请求，平均 个⼈关注200个⽤户。 – 针对上⾯两种情况，分别设计feed系统，要求给出存储选型和对应的机器数量。 新兵训练营简介 微博平台新兵训练营活动是微博平台内部组织的针对新⼊职同学的团队融⼊培训课 程，⽬标是团队融⼊，包括⼈的融⼊，氛围融⼊，技术融⼊。当前已经进⾏4期活 动，很多学员迅速成长为平台技术⾻⼲。 微博平台是⾮常注重团队成员融⼊与成长的团队，在这⾥有⼈帮你融⼊，有⼈和你⼀ 起成长，也欢迎⼩伙伴们加⼊微博平台，欢迎私信咨询。 讲师简介 胡忠想，微博名@古⽉中⼼