新型架构案例与实践——腾讯手Q公众号后台负责人.pdf

新型架构案例与实践 目录 1. 个人 2.数据同步 3.任务分配 4.接口保护 5. 集群检测 6. 容量模型 个人介绍 •个人信息： •2008年07月参加工作 工作7.5年。 •热爱Linux内核，在分布式系统 机器学习 并行计算上有一定经验 。 •主要经历： • 华为/亚信 Linux内核分布式企业存储系统开发 中国电信海量业务支撑平台设计开发 • 百度 大规模机器学习平台及算法开发 •2012. 腾讯 •主导项目： QQ群广告系/旋风下载技术2.0/ QQ公众号 后台负责人 海量数据同步 Ｑ：40亿源数据， 接口 1000/s的QPS 副本和源如 保持实时性 ？ 海量数据同步 海量数据同步 人数 Xa 分类 Xb 人数历史变化 ；资料历史变化 Xc Xc1 Xc2 。。。 解决方法：  对于 P(Y=1) 较高的群，我们通过类似行刷新的方 式，每隔1小时就可以刷新一次，大概在 10分钟内。  同时在计费阶段，使用同样的机制对每个匹配中的 群进行人数变化 ,进行预测计算，保证计费准确。 我们把原来千万需要同步数据，在业务可容忍的有损情况下， 通过预测，保证准确度始终在90%以上，将系统同步的代价缩小了一个数量级。 分布式系统 Ｑ：如 路由 ？ 分布式系统 |任务分配 无主并行化选择 ： Plan A Plan B 分布式系统 |任务分配 分布式系统 |任务分配 挑战： 作业进程表 : 一定需要选举算法？ 无主一定是DHT? 每个机器作业进程中，都维护着这个作业表。 都表明当前系统中 机器的列表， 时钟同步？ 对于WORKING状态的机器会有一个MOD字段，表面当前正在并行处理的任 务 ，按照 WORKING状态机器总数 取模的余数。 解决： 可靠组通讯协议 静默期 于是我们就需要有一个静默期，也就是SILENCE状态， 在这个静默期间， 任 视图同步 何作业集群中的机器， 都不可以进行任务的获取和处理操所有作。 一个作业集 可证明的最大时延 群中的机 ， 当收到LSR包之后 ，就开始进入静默状态 。 接口保护 Ｑ：如 接口保护 ? 接口保护