faceboo架构纵览.ppt

Facebook 架构纵览 2009-8-11 用数据来说话 关于Facebook的统计数据 2.5亿活跃注册用户 500亿PV/每月 100亿张照片 100万图片请求/秒 6万应用程序 40万的应用开发人员 25TB数据在Memecached集群中提供服务! …… 设计目标和原理 Facebook的目标 能够为各种应用程序提供服务的平台 不仅仅是社区网站 基础设施的高扩展性 应用程序的高扩展性 能够服务PB级别的数据 能够在毫秒级别时间服务上亿次的并发请求 Facebook的设计原则 尽量使用开源工具 Unix设计哲学 平台中，什么都是可扩展的 高负载，低延迟 简单实用的原则 Facebook相关技术 技术纵览 基于Mysql构建集群 Memcached构建内存Cache集群 PHP优化技术 Thrift，数据交换，开发框架 CDN，网络加速 Facebook正在进行的，Bigtable同类产品？ Haystack？ …… Facebook架构 架构 尝试一下 一个简化的Facebook * * 1. 部署架构 2. 系统架构 1. 部署架构 2. 系统架构 Unix设计哲学：接口简单，不同组件之间互相独立，低耦合，灵活性高 Mysql Cluster：用户存放用户的信息，Facebook部署了几千台Mysql服务器，为用户的信息提供服务。优点：稳定，对用户信息等这些原数据存取效率非常高 Memcached 集群：主要用来缓存动态生成的PHP对象数据，这个集群部署几百台机器，达到TB级别的数据被存放到Cache中，Facebook被 成为Cache之王，其很大的性能提高都来自Cache的功劳。目的和好处：提高Facebook的响应速度 NetApp NFS，这个网络文件系统，主要用来提供静态数据的存储和服务。这个网络文件系统，具有非常高的性能，以及上PB级别的容量， 所以，其主要被用来存放视频，以及照片等静态数据。目的和好处：容量大，可以大大减轻Facebook的Mysql的负载，同时提高响应的速度 NetApp主要是架在SATA硬盘上，性能非常高。Facebook正在研发闪存，将来估计闪存会成为主要存储介质。当前，Facebook的图片数据 利用新的架构，Haystack，存到了Raid6存储刀片上，不过目前这个新的架构资料比较少，而且facebook也是正在研发和完善当中。 CDN：主要是为静态内容进行边缘提速 Http Router：主要是进行DNS定向路由，例如，为静态内容和动态内容进行不同的路由策略，指向不同的IP地址等。目的，是实现特定的路由策略 ，以提高整个系统的性能 Web Logic Cluster是一个超过1万台服务器的超大规模集群，用来完成Facebook的主要业务逻辑，以及为众多的第三方应用程序提供服务。 Utils：众多的工具集，提供各种系统功能，例如，为客户提供管理界面的工具集等 Scribe，提供Log数据处理框架 ODS，类似OSS，提供系统监控，历史分析，流量，走势等 Mysql：开源免费，主要用来存储Facebook的用户信息，对于小数据，存取效率非常高，所以用来存放用户信息 2. Memcached：开源免费的内存对象级别Cache，Facebook的高性能，很大程度上依赖于cache，facebook有超过400台的Memcached服务器， 提供PHP 对象级别的内存缓存，总共有超过25TB的数据在cache当中 3. PHP优化技术：PHP语言的特点，可以快速原型开发，快速迭代，扩展性非常强，而且效率也比较高。但是，为了适应这么高的性能要求，还 是需要进行优化，PHP优化技术，就是为了最大限度发挥PHP的优点，同时在性能上进一步增强 4. Thrift：Facebook自己开发的数据交换中间件。主要的目的，1）提供一个开发框架，开发人员可以在Thrift基础上快速开发出基于网络的应用 2）提供高效的数据交换平台，Thrift为facebook不同模块之间提供了一个非常高效的数据交换平台，它用私有的协议和数据序列化格式 3）跨语言的框架，基于各种开发语言的开发者都能在这上面进行开发 5. CDN，网络提速，主要用的Akamai 6. Facebook正在做的，就是开发一套新的存储系统，目前已经投入使用，就是类似Bigtable的一套分布式存储， Haystack