大型网络平台架构设计方案.docx

大型网络平台架构设计方案 大型网络平台架构设计方案 大型网络平台架构设计方案 大型网络平台架构设计方案 大型网络平台架构 设计方案 目 录 网站的性能瓶颈分析 1 系统架构设计 3 总体思路 3 负载均衡 3 WEB应用开发架构思路 3 数据存储的设计思路 3 不同网络用户访问考虑 4 总体架构 5 网站的系统分层架构 5 网站的物理架构 6 网站的开发架构 7 网络拓扑结构 8 架构涉及技术的详解 9 负载均衡 9 2.3.2 缓存 15 页面静态化 19 数据库配置及优化 20 文件存储 21 网络问题解决方案 24 WEB应用开发架构设计思路 26 系统软件参数优化 30 操作系统优化 30 tomcat服务器优化 31 apache服务器优化 33 Nginx服务器的优化 33 WEB服务架构评测 34 测试环境 34 网络环境 34 服务器配置 35 软件环境 35 测试结果 40 单个TOMCAT的WEB服务器 40 Nginx+2个TOMCAT的WEB服务器 41 Nginx+2个TOMCAT的WEB服务器+缓冲 42 测试结果分析 43 评测结果 44 配置选型 45 网络带宽 45 架构和硬件配置选型 46 硬件配置参考 46 Web架构和硬件选型 47 硬件扩容策略 48 增加服务器 48 增加存储 48 升级服务器 48 网络扩容 48 附录：一些主流网站的真实数据 49 网站的性能瓶颈分析 网站的性能影响因素很多，下面主要从如下4个方面进行分析说明： 网络负载 公网负载 内网负载 WEB应用服务器性能 CPU 存储，I/O访问 内存 并发TCP/IP连接数 数据库服务器性能 数据库参数配置 服务器性能（CPU、内存、存储） 数据结构的合理性 不同WEB应用的处理方式而对不同的性能瓶颈 对于静态的网站： 静态的HTML页面严格地由标准的HTML标示语言构成，并不需要服务器端即时运算生成。这意味着，对一个静态 HTML文档发出访问请求后，服务器端只是简单地将该文档传输到客户端。从服务器运行的那个时间片来看，这个传输过程仅仅占用了很小的CPU资源。对于静态HTML的访问瓶颈为：网络带宽、磁盘I/O以及cache(高 速缓冲存储器)。 对于动态页面 因为服务器解析动态页面必须在其传输到客户端前就通过服务器来进行解释，这样就会给应用服务器添加额外的性能消耗，如果 第1页 大型网络平台架构设计方案 大型网络平台架构设计方案 大型网络平台架构设计方案 大型网络平台架构设计方案 第 第2页 第 第3页 进一步要访问数据库，则会增加数据库服务器的性能消耗，则动态页面还有额外的瓶颈：应用服务器的性能，数据库服务器的性能。 系统架构设计 总体思路 为提高网站的高并发性能,提高开发效率及运营效率,主要按如下几个思路进行规划设计: 负载均衡 四层交换负载均衡： 采用负载均衡器来实现硬件级的四层交换负载均衡，或采用LVS 来实现软件的四层交换负载均衡。 通过第三方软件来实现负载均衡,同时实现页面请求的缓存。 通过Nginx实现反向代理服务器集群，同时搭建squid集群以作为静态页面和图片的缓存。 通过web服务器的配置来实现负载均衡 即 通 过 apache 或 是 Nginx 将 客 户 请 求 均 衡 的 分 给tomcat1,tomcat2. 去处理。 WEB应用开发架构思路 应用开发实现MVC架构三层架构进行web应用开发 页面尽可能静态化以减少动态数据访问，如果是资讯类的网站可以考虑采用第三方开源的CMS系统来生成静态的内容页面。 采用Oscache实现页面缓存,采用Memcached实现数据缓存 采用独立的图片服务器集群来实现图片资源的存储及WEB请求 数据存储的设计思路 数据库拆分,把生产数据库和查询数据库分离，对生产数据库采用RAC实现数据库的集群。 大型网络平台架构设计方案 大型网络平台架构设计方案 大型网络平台架构设计方案 大型网络平台架构设计方案 第 第 PAGE 4页 第 第 PAGE 5页 采用高效的网络文件共享策略，采用图片服务器来实现页面的图片存储。 不同网络用户访问考虑 通过引入CDN来解决不同网络服务商的接入速度问题，一般只能解决静态页面的访问问题。 在不同运营商机房部署服务器，通过镜像技术来实现不同网络服务商的接入速度问题。 总体架构 网站的系统分层架构 硬件四层交换 硬件四层交换 负载均衡器 软件四层交换 LVS Nginx proxy Squid 负载均衡 反向代理软件 （数据缓存） Squid cache Nginx cache WEB服务 （Apache+tomcat 负载均衡） Apache Tomat ... Tomat WEB 服务器 架构 MVC 应用架构 Contr