从上百幅架构图中学得半点大型网站建设经验(上).docxVIP

引言??? 近段时间以来，通过接触有关海量数据处理和搜索引擎的诸多技术，常常见识到不少精妙绝伦的架构图。除了每每感叹于每幅图表面上的绘制的精细之外，更为架构图背后所隐藏的设计思想所叹服。个人这两天一直在搜集各大型网站的架构设计图，一为了一饱眼福，领略各类大型网站架构设计的精彩之外，二来也可供闲时反复琢磨体会，何乐而不为呢?特此，总结整理了诸如国外wikipedia，Facebook，Yahoo！，YouTube，MySpace，Twitter，国内如优酷网等大型网站的技术架构（本文重点分析优酷网的技术架构），以飨读者。??? 本文着重凸显每一幅图的精彩之处与其背后含义，而图的说明性文字则从简从略。ok，好好享受此番架构盛宴吧。当然，若有任何建议或问题，欢迎不吝指正。谢谢。1、WikiPedia技术架构???????????????????????????????????????????? WikiPedia技术架构图Copy @Mark Bergsma来自wikipedia的数据：峰值每秒钟3万个HTTP请求每秒钟3Gbit 流量, 近乎375MB 350 台PC服务器。GeoDNSA：40-line patch for BIND to add geographical filters support to the existent views in BIND, 把用户带到最近的服务器。GeoDNS在WikiPedia架构中担当重任当然是由WikiPedia的内容性质决定的--面向各个国家，各个地域。负载均衡：LVS，请看下图：。2、Facebook架构??????????????????????????????????? Facebook搜索功能的架构示意图??? 细心的读者一定能发现，上副架构图之前出现在此文之中：从几幅架构图中偷得半点海里数据处理经验。本文与前文最大的不同是，前文只有几幅，此文系列将有上百幅架构图，任您尽情观赏。3、Yahoo! Mail 架构?????????????????????????????????????????????? Yahoo! Mail 架构??? Yahoo! Mail 架构部署了 Oracle RAC，用来存储 Mail 服务相关的 Meta 数据。4、twitter技术架构???????????????????????????????????????????????????? twitter的整体架构设计图??? twitter平台大致由、手机以及第三方应用构成，如下图所示（其中流量主要以手机和第三方为主要来源）：??? 缓存在大型web项目中起到了举足轻重的作用，毕竟数据越靠近CPU存取速度越快。下图是twitter的缓存架构图：??? 关于缓存系统，还可以看看下幅图：5、Google App Engine技术架构??????????????????????????????????????????? GAE的架构图??? 简单而言，上述GAE的架构分为如图所示的三个部分：前端，Datastore和服务群。前端包括4个模块：Front End，Static Files，App Server，App Master。Datastore是基于BigTable技术的分布式数据库，虽然其也可以被理解成为一个服务，但是由于其是整个App Engine唯一存储持久化数据的地方，所以其是App Engine中一个非常核心的模块。其具体细节将在下篇和大家讨论。整个服务群包括很多服务供App Server调用，比如Memcache，图形，用户，URL抓取和任务队列等。6、Amazon技术架构??????????????????????????????????? Amazon的Dynamo Key-Value存储架构图??? 可能有读者并不熟悉Amazon，它现在已经是全球商品品种最多的网上零售商和全球第2大互联网公司。而之前它仅仅是一个小小的网上书店。ok，下面，咱们来见识下它的架构。??? Dynamo是亚马逊的key-value模式的存储平台，可用性和扩展性都很好，性能也不错：读写访问中99.9%的响应时间都在300ms内。按分布式系统常用的哈希算法切分数据，分放在不同的node上。Read操作时，也是根据key的哈希值寻找对应的node。Dynamo使用了 Consistent Hashing算法，node对应的不再是一个确定的hash值，而是一个hash值范围，key的hash值落在这个范围内，则顺时针沿ring找，碰到的第一个node即为所需。??? Dynamo对Consistent Hashing算法的改进在于：它放在环上作为一个node的是一组机器（而不是memcached把一台机