基于微信的分布式系统分析.docxVIP

计算机应用技术2016基于微信的分布式系统分析卷卷1501295摘要当今社会，微信已经成为很多人生活中不可缺少的一部分，无论是在社交、商业推广还是支付领域，微信都有着杰出的表现。自2011年诞生以来，截止到2015年第一季度，微信已经覆盖中国90%以上的智能手机，月活跃用户达到5.49亿，用户覆盖200多个国家、超过20种语言，使用微信支付的用户已经达到4亿左右。微信提供公众平台、朋友圈、消息推送等功能，用户可以通过“摇一摇”、“搜索号码”、“附近的人”、扫二维码方式添加好友和关注公众平台，同时微信将内容分享给好友以及将用户看到的精彩内容分享到微信朋友圈。无论是在火车上、公交车上，还是在餐厅、社区，使用微信的人随处可见，而且微信支付已经越来越成为一种新的消费时尚，微信公众号也越来越多的成为很多商家推广企业文化和各种促销活动的重要途径。本文将从微信的系统架构、通信泛型、存储一致性、容灾机制等四个方面来分析微信这种分布式系统的特征。目录摘要1引言31微信的系统架构41.1系统架构41.2腾讯分布式数据仓库52通信泛型82.1 SYNC通信协议92.2 数据可靠性92.3 数据顺序性92.4 多点登陆103存储一致性123.1一致性问题123.2通信情景123.3基于TWD的Hippo系统架构133.4 数据可用性163.5 数据稳定性163.6 数据重复性174容灾机制184.1几种常见的容灾案例184.2 Quorum容灾方案184.2容灾切换19参考文献20引言近年来，社交网络作为典型的分布式系统个，已经得到了广泛的应用。本文主要介绍了基于微信的分布式系统，在完成报告的过程中，查阅了很多资料，对腾讯大数据有了比较初步的了解，包括腾讯开始时单台计算机用作服务器存储用户信息，到增加到十万级，上亿级的海量用户。系统越来越复杂，硬件不断升级，从单台计算机到若干集群，是一个不断扩展的过程，分布式系统在海量的信息存储和处理中起着很重要的作用。但是由于商业保密的需求很多技术细节并未公开，所以只能做粗略研究，从整体框架上做了介绍和分析。1微信的系统架构1.1系统架构微信有着数亿的客户群体，是亚洲地区最大用户群体的移动即时通讯软件，服务业务丰富，每天有海量的数据通信和存储，单是漂流瓶一项服务的文本存储量就有几百G，面对如此强大的功能需求，系统架构的设计也需要满足一些要求。高性能。对成本的控制是支持移动互联网公司能否存活的问题之一。移动互联网的客户源虽然很高，但是微信不像淘宝，每天有上亿的人在使用微信通讯，跟每天有上亿的人在淘宝购物时不一样的，微信的商业转换率比淘宝要低，所以成本控制更为重要。另一方面，在没有积累到一定的客户数量和客户粘度之前，客户对于服务公司的选择成本很低，用户可以在很短的时间内完成软件的切换和服务公司的选择，可能只需要注册一个账户即可。如果服务质量出现问题，有可能在非常短的时间内造成客户流失。所以服务质量和成本控制是非常重要的。高稳定性。不难看出，微信是一个海量系统，千万级用户同时在线，一个单独的功能上每天有百亿级的访问，同时还要保证将近百分之百可靠性和稳定性。在海量系统上应对项目开发会有很严谨的规范，都说要尽可能少的变化，因为90%-95%的错误都是在变更中产生的，如果系统一直不变更会获得非常高的稳定度，但是面对很多应用需求的升级和扩展，系统不可能一直不变。微信的系统架构如图1所示。应用层提供各种服务业务，由接入集群接入服务器集群，中间有一个状态同步集群用于同步不同的服务集群和接入集群，使它们能够达到一致性的存储要求。另外还有诸如存储集群用来存储用户信息和应用信息，业务监控和业务统计等辅助功能模块。这种设计可以在保证服务质量的同时控制成本。图1 系统架构1.2腾讯分布式数据仓库TWD（Tencent Distributed Data Warehouse，腾讯分布式数据仓库）是腾讯专用的分布式数据平台，其特点相对于其他企业级数据存储服务器的特点是成本低、性能高。企业级存储服务器对硬件要求很高，数据的存储和备份都在硬件基础上完成，并且需要昂贵的软件授权。而TWD则可以降低存储成本，构造廉价的分布式数据仓库。TWD是基于开源软件Hadoop和Hive进行构建，打破了传统数据仓库不能线性扩展、可控性差的局限，并且根据腾讯数据量大、计算复杂等特定情况进行了大量优化和改造。TWD在公司中的作用主要有：提供海量的离线计算和存储服务。TDW服务覆盖了腾讯绝大部分业务产品，单集群规模达到4400台，CPU总核数达到10万左右，存储容量达到100PB；每日作业数100多万，每日计算量4PB，作业并发数2000左右；实际存储数据量80PB，文件数和块数达到6亿多；存储利用率83%左右，CPU利用率85%左右。TDW是腾讯内部规模最大的离线数据处理