QConShanghai2013-秦启东-搜狐新闻客户端后端架构演进和PUSH系统.pdfVIP

搜狐新闻客户端 后端架构演进和PUSH系统 秦启东 qidongqin@ 13年10月21 日星期⼀ 搜狐新闻客户端 搜狐新闻先知道 2013年10月 13年10月21 日星期⼀ 关于 秦启东 2004年加入搜狐Chinaren Team 2009年负责开发维护搜狐微博 2012年负责搜狐新闻客户端后端架构和基础设施 对分布式存储和高性能系统有浓厚兴趣 13年10月21 日星期⼀ 1. 后端架构演进 • 1.1 框架选型 • 1.2 缓存优化 2. Push系统实践 13年10月21 日星期⼀ 性能 容灾 上线 优化 建设 13年10月21 日星期⼀ 1.1 框架选型 ✓ 基于netty的http路由层封装 + Ostrich ✓ Twitter Finagle ✓ Rest.li + Hystrix ✓ 其他基于thrift/pb的框架 13年10月21 日星期⼀ Metric 二次开发工作： 1. 调整metric信息的输出思路 原来：每个server提供http admin接口Stream输出 现在：udp输出到控制中心 2. 开发新的Dashboard 13年10月21 日星期⼀ 1.1缓存优化 1. 懒惰式缓存到直写式缓存 2. 细粒度化 用户对象拆分：{安装信息，设置信息，订阅信息…} 出现的新问题：过多的memcached请求 13年10月21 日星期⼀ 1.1缓存优化 过多的memcached请求 方案⼀： 同⼀用户对象的缓存到同⼀个memcached实例，用MultiGet减少请 求次数 为spymemcache增加新的connection factory ，key前缀相同的存到同 ⼀实例，如：123%info,123%install 方案二: 本地缓存 解决各个server中本地cache的同步问题 13年10月21 日星期⼀ 1.1缓存优化 本地cache的同步: 通过消息系统同步数据 ✓ Kestrel队列 ✓ RabbitMQ ✓ Nsq ，高性能、高可靠、无单点故障、发布订阅模式 13年10月21 日星期⼀ 13年10月21 日星期⼀ 2. Push系统实践 13年10月21 日星期⼀ 2.Push系统实践 • 定期轮询 实现简单,非实时,查询时间过短则流量耗费多,耗电量大,后端 压力大 • XMPP XML, ejabberd/openfire • MQTT