大容量web平台架构设计分解.ppt

大容量WEB平台架构设计 研发一部系统架构组 章万国 2008年3月26日 大容量WEB平台架构设计 用户的体验诉求 平台环境 架构思想 展现层 业务逻辑层 数据存储层 运营监控 （一）用户的体验诉求 便捷---方便、快捷 功能强大 系统稳健 安全 （二）平台环境 中国互联网格局 运营商网络互通性差，南北割据 电信：南方和西部21省，占有70％ 网通：北方十省，占有30％， 教育网相对封闭 需要代理服务器 计算机各部件存取速度 寄存器内存磁盘I/Osocket I/O （三）架构思想 明确用户行为模型 熟悉生产环境 横向协作，业务分布，数据分布 纵向分层，流水作业 以空间换时间 资源预准备，资源池 兼顾同步和异步 快慢计算单位/模块/机器分离 高质量的程序代码 基础 高效的算法设计 doubleList、hash、tree等基础算法 不同的业务逻辑对算法的偏重 能简单的尽量简单 （四）展现层 展现层 不仅要体现良好的用户使用方便性，而且要最大限度提高展现速度。 5秒刚合格，3秒是优秀 （四）展现层（续） 典型的web访问时间 一个web请求时间= 浏览器预处理时间 +DNS解析时间 +http请求包发送时间 +web服务器处理请求时间 +http响应包发送时间 +浏览器处理html时间 使用工具分析 Httpwatch httplook （四）展现层（续）--以yahoo为例 （四）展现层（续） 页面优化： Make fewer HTTP requests Use a CDN Add an Expires header Gzip components Put CSS at the top Move JS to the bottom Avoid CSS expressions Make JS and CSS external Reduce DNS lookups Minify JS Avoid redirects Remove duplicate scripts Turn off ETags Make AJAX cacheable and small Use 304 （四）展现层（续） 接入web服务器相同服务，多处部署，在电信，网通和教育网均有部署 DNS级做负载均衡 动态页面静态化 静态页面使用轻量级web服务器,或改为epoll接入的web服务器 图片、js 、css 、flash 、流媒体等资源使用专门的服务器 使用ajax/json技术，页面中的重要部分先同步处理，次要部分异步处理 少用iframe,添一个iframe相当于新开一个窗口的开销 （五）逻辑层 由各个业务服务器组成，使用什么服务器？ 服务器基本流程： 侦听=〉接收请求=〉处理请求=〉回应 自建服务器 开源中间件-ICE （五）逻辑层（续） 自建服务器网络模型 迭代式服务器 多进程并行服务器 多线程并行服务器 混合型服务器 Event-based的服务器 （五）逻辑层（续） 服务器网络模型之迭代服务器 特点: 网络接入和业务逻辑处于同一个进程，服务器接受一个请求后， 接着就处理业务逻辑，处理完后继续处理下一个请求。 优点：结构简单，便于维护。 缺点：各个请求间的影响较大，前一个请求阻塞后一个请求。此模型基 本应用较少。 适用于：请求并发量不大，响应时间短的场景。 （五）逻辑层（续） 服务器网络模型之多进程并发服务器 特点：网络接入和业务逻辑处于不同进程，服务器接收一个请求后，立即fork一个进程，该进程专门负责处理业务逻辑，处理完后该进程退出。 优点：结构较简单，健壮，各个请求互不干扰。 缺点：即使开进程，系统开销大。 适用于：请求并发量不大，响应时间长的场景。 （五）逻辑层（续） 服务器网络模型之预先派生子进程并发服务器-子进程竞争accept 特点:主进程预先fork一组进程，各个进程竞争accept，网络接 入和业务逻辑处于同一进程。 优点：响应较快，健壮，各个请求互不干扰。 缺点：结构较复杂，主进程要管理子进程，并发量大时容易产生惊群现象。 适用于：请求并发量不大，响应时间长的场景。 （五）逻辑层（续） 服务器网络模型之预先派生子进程并发服务器-非竞争型accept 特点:主进程预先fork一组进程，且负责accept客户请求