[杨卫华谈新浪微博架构.docxVIP

在2010年的QCon北京大会上，InfoQ的编辑对杨卫华进行了采访，其中谈到了关于新浪微博系统平台应对各种问题的解决方案，以及正在开发中的新浪云。杨卫华，新浪产品部技术经理，目前工作以新浪微博技术平台为主，曾负责过新浪IM等通讯服务端架构设计。对互联网后端技术，分布式，网络编程，XMPP即时通讯等领域感兴趣。曾组织多次广州及珠三角技术沙龙活动。个人blog 为：/。InfoQ：大家都知道，在美国有一个非常有名的信息分享平台叫做Twitter，而在中国，我们也有同样的方式，就是现在非常流行的新浪微博，它还有个非常温馨的名字，叫做围脖。而新浪微博的架构就是杨卫华先生主持开发的。 今天我有幸采访到杨卫华先生，让他来给大家谈一谈，在新浪微博的技术架构方面，他们是如何为用户提供更好的性能、更好的服务的。 卫华先生你好，我的第一个问题是，在新浪微博上有很多名人，名人的微博一般都是非常热的，对它们的访问量也特别高，那么对于这些微博，您采用了什么样的方式来支持这种大数据量的访问呢？杨卫华（以下简称卫华）：对于这个问题，我们做过专门的分析。因为最近新浪微博有名人扎堆的现象，我们根据这个现象，从以下几个角度来进行解决。首先根据中国的网络现状，比如说网通和电信，之间的网络访问速度会比较慢，我们考虑让用户能够访问就近的服务器，这样使用体验、速度都能达到要求。我们根据新浪以往的经验，在全国部署了大量服务器，这样就为微博提供了硬件上的保证。第二个方面，在程序优化的方面，在产品上线之前，我们进行了全方面的压力测试，如果系统在某个方面可能会出现瓶颈，比如名人的访问量比较高的话，我们就从那个角度去优化。比如说Cache是否够用，数据库访问是不是瓶颈，这方面我们预先都有对压力的估计，然后会针对那些方面去做优化。第三个方面，对于那些静态资源，比如图片、视频、JS脚本，我们有专业的CDN来解决的，这样就能够保证全国的用户在访问新浪微博时都能够得到比较好的体验。InfoQ：现在的服务器大概都架设在哪几个部分？覆盖全国哪几个地区？ 卫华：全国基本上大部分省份都有服务器，特别是一些比较核心的节点，比如北京、上海、广州，在这些核心的节点可能部署了更多的服务器，而在其它一些二线城市、其它省份也都有部署的。InfoQ：您也是为这种大数据量做了充分的准备。最近大家都知道，玉树发生地震，对于这种突发事件，我们也会把微博作为一种信息交流、信息分享的平台，大家的访问也会造成大数据量访问，那么对于这种突发事件，您在技术架构上也做了相应的准备吗？卫华：对，这种突发事件以及访问峰值，是微博上经常出现的现象。突发事件的访问峰值有两种，一种是可以预测的，比如说我们将来要搞的世界杯，比如春节，大家都相互拜年这种；另外一种是不可预测的，比如地震这种。对可以预测的这种，我们事先会做准备，比如说世界杯，我们要增加相关的服务器来完成。而面对这种不可预测的情况时，我们平时会有个数字，那就是我们平时的平均流量，硬件设备要比它高一定量，这样就能够应对这种峰值的请求。另外从程序上来说，我们可能有一些专门的机制，比如说用户发表微博，并不是一发表就存到数据库中，简单地理解，他不是这样操作的。业界中微博之类的产品都有一种机制，叫做异步机制，也就是说，在发表的时候，我会把这个信息放到消息队列里面，然后再用另外一个专门的业务处理程序来处理它。当某一时刻发表量非常大，比如说地震了，很多人都会发表，那这个时候系统依然能够有条不紊的来处理这个业务，这样子就能让我们的系统稳定运行，并具有高可用性。InfoQ：也就是要对整个事务的进行有效的控制？ 卫华：对。InfoQ：大家应该知道，因为有这么多的微博，有那么多名人，而且还有很多平民的、草根的微博，系统的数据量也是非常非常大的，而且还有很多很多的评论，很多很多的留言等等。那么对于这种海量存储，是不是也要做技术架构上的准备？卫华：对，微博这个产品从技术上来说，有一个很大的特征，就是每天用户发表特别容易，这造成每天新增的数据量都是百万级的、上千万级的这样一个量。这样你经常要面对的一个问题就是增加服务器，因为一般一台mySQL服务器，它可能支撑的规模也就是几千万，或者说复杂一点只有几百万，这样，你可能每天都要增加服务器，从而解决所你面对的这些问题。你要考虑，如果每天要加服务器，你的程序上、访问上会不会有问题，会不会间断。我们其实有一些优化的方法，比如说我们会考虑热点数据和冷数据，如果经常要访问的这个数据，也就是热数据，而过几天才会访问的就是冷数据，我们会把它们合并，这样就可以按这个时间来分段，也就是把热数据放在一起，冷数据放在一起，这样可以解决这个访问热点的问题。另外业界还有种思路，刚才说的用MySQL，我们采用Shade的技术会按时间分片，这是一种解决思路；另外还有一种解决思路，业界特