从上百幅网站设计图看大型网站建设.pdf

引言 近段时间以来，通过接触有关海量数据处理和搜索引擎的诸多技术，常常见识到不少精 妙绝伦的架构图。除了每每感叹于每幅图表面上的绘制的精细之外，更为架构图背后所隐藏 的设计思想所叹服。个人这两天一直在搜集各大型网站的架构设计图，一为了一饱眼福，领 略各类大型网站架构设计的精彩之外，二来也可供闲时反复琢磨体会，何乐而不为呢?特此， 总结整理了诸如国外wikipedia，Facebook，Yahoo ！，YouTube，MySpace，Twitter， 国内如优酷网等大型网站的技术架构（本文重点分析优酷网的技术架构），以飨读者。 本文着重凸显每一幅图的精彩之处与其背后含义，而图的说明性文字则从简从略。ok， 好好享受此番架构盛宴吧。当然，若有任何建议或问题，欢迎不吝指正。谢谢。  1、WikiPedia 技术架构 WikiPedia 技术架构图Copy @Mark Bergsma 1. 来自wikipedia 的数据：峰值每秒钟3 万个 HTTP 请求 每秒钟 3Gbit 流量, 近乎375MB 350 台 PC 服务器。 2. GeoDNSA ：40-line patch for BIND to add geographical filters support to the existent views in BIND, 把用户带到最近的服务器。GeoDNS 在 WikiPedia 架构中担当重任当然是由 WikiPedia 的内容性质决定的--面向各 个国家，各个地域。 3. 负载均衡：LVS，请看下图： 。  2、Facebook 架构 Facebook 搜索功能的架构示意图 细心的读者一定能发现，上副架构图之前出现在此文之中：从几幅架构图中偷得半点海 里数据处理经验。本文与前文最大的不同是，前文只有几幅，此文系列将有上百幅架构图， 任您尽情观赏。  3、Yahoo! Mail 架构 Yahoo! Mail 架构 Yahoo! Mail 架构部署了 Oracle RAC，用来存储 Mail 服务相关的 Meta 数据。  4、twitter 技术架构 twitter 的整体架构设计图 twitter 平台大致由 、手机以及第三方应用构成，如下图所示（其中流量主要 以手机和第三方为主要来源）： 缓存在大型web 项目中起到了举足轻重的作用，毕竟数据越靠近CPU 存取速度越快。 下图是twitter 的缓存架构图： 关于缓存系统，还可以看看下幅图：  5、Google App Engine 技术架构 GAE 的架构图 简单而言，上述GAE 的架构分为如图所示的三个部分：前端，Datastore 和服务群。 1. 前端包括4 个模块：Front End，Static Files，App Server ，App Master 。 2. Datastore 是基于BigTable 技术的分布式数据库，虽然其也可以被理解成为 一个服务，但是由于其是整个App Engine 唯一存储持久化数据的地方，所以 其是App Engine 中一个非常核心的模块。其具体细节将在下篇和大家讨论。 3. 整个服务群包括很多服务供App Server 调用，比如Memcache，图形，用户， URL 抓取和任务队列等。  6、Amazon 技术架构 Amazon 的Dynamo Key-Value 存储架构图 可能有读者并不熟悉Amazon ，它现在已经是全球商品品种最多的网上零售商和全球第2 大互联网公司。而之前它仅仅是一个小小的网上书店。ok，下面，咱们来见识下它的架构。 Dynamo 是亚马逊的key-value 模式的存储平台，可用性和扩展性都很好，性能也