高并发高的负载系统架构.pdfVIP

高并发高负载系统架构 二OO九年十一月 目录 1、为什么要进行高并发和高负载的研究 2 、高并发和高负载的约束条件 3 、解决之道——硬件篇 4 、解决之道——部署篇 5 、解决之道——环境篇 6 、解决之道——SiteEngine篇 7 、解决之道——测试篇 8 、结尾 为什么要进行高并发和高负载的研究 1、产品发展的需要 2 、公司发展的需要 3 、当前形式决定的 高并发和高负载的约束条件 1、硬件 2 、部署 3 、操作系统 4 、Web 服务器 5 、PHP 6 、MySQL 7 、测试 解决之道——硬件篇 处理能力的提升：部署多颗CPU ，选择多核心、具备更高运算频率、更大高速缓存的CPU ； 处理能力的提升最直接的反应在于Web请求的处理效率和PHP程序的执行效率。 内存带宽与容量 ：更大的内存带宽和容量； 内存带宽与容量的提升最直接的反应在于应对数据库大量的数据交换。 磁盘搜索与I/O能力 ：选择更高的转速、更大的硬盘缓存、组件磁盘阵列（RAID ）； 磁盘搜索与I/O能力的提升最直接反应在于数据库大量的查询和读写以及文件的读写。 网络带宽的提升可考虑的因素包括：更大带宽、多线路接入、独享带宽； 服务器在大负载的情况下，对网络带宽的占用是十分可观的。 策略 ：硬件设施是应对大负载的基础，硬件设施的投入可根据实际压力和预算量力而行。 解决之道——部署篇 1、服务器分离 2 、数据库集群和库表散列 3 、镜像 4 、负载均衡 分类： 1)、DNS轮循 2）代理服务器负载均衡 3）地址转换网关负载均衡 4 ）NAT负载均衡 5）反向代理负载均衡 6）混合型负载均衡 策略 ：根据硬件投入和业务需求，选择合理的部署方案。 解决之道——部署篇——方案一 适用范围： 静态内容为主体的网站和应用系统； 对系统安全要求较高的网站和应用系统。 Main Server ：主服务器 承载程序的主体运行压力，处理网站或应用系统中的动态请求； 将静态页面推送至多个发布服务器； 将附件文件推送至文件服务器； 安全要求较高，以静态为主的网站，可将服务器置于内网屏蔽外网的访问。 DB Server ：数据库服务器 承载数据库读写压力； 只与主服务器进行数据量交换，屏蔽外网访问。 File/Video Server ：文件/视频服务器 承载系统中占用系统资源和带宽资源较大的数据流； 作为大附件的存储和读写仓库； 作为视频服务器将具备视频自动处理能力。 发布服务器组： 只负责静态页面的发布，承载绝大多数的Web请求； 通过Nginx进行负载均衡部署。 解决之道——部署篇——方案二 适用范围： 以动态交互内容为主体的网站或应用系统； 负载压力较大，且预算比较充足的网站或应用系统； Web服务器组： Web服务无主从关系，属平行冗余设计； 通过前端负载均衡设备或Nginx反向代理实现负载均衡； 划分专用文件服务器/视频服务器有效分离轻/重总线； 每台Web服务器可通过DEC可实现连接所有数据库，同时划分主从。 数据库服务器组： 相对均衡的承载数据库读写压力； 通过数据库物理文件的映射实现多数据库的数据同步。 共享磁盘/磁盘阵列 将用于数据物理文件的统一读写 用于大型附件的存储仓库 通过自身物理磁盘的均衡和冗余，确保整体系统的IO效率和数据安全； 方案特性： 通过前端负载均衡，合理分配Web压力； 通过文件/视频服务器与常规Web服务器的分离，合理分配轻重数据流； 通过数据库服务器组，合理分配数据库IO压力； 每台Web服务器通常只连接一台数据库服务器，通过DEC的心跳检测，可在极短时间内自动切换至冗余数据库服务器； 解决之道——环境篇 1、操作系统 2、Web服务器 3、Mysql 4、PHP 5、代理服务器（缓存服务器） 解决之道——环境篇——操作系统 操作系统的选择，关注点在于 • 是否适应于搭建SiteEngine所需要的环境程序？ • 系统本身占用的资源比； • 系统安全性； • 系统是否易于操作？ 策略 ：我们选择FreeBSD ，而且是最小化安装以后的FreeBSD。 解决之道——环境篇——Web服务器 Web服务器很大一部分资源占用来自于处理Web请求，通常情况下这也就是Apache产生的压力，Apache是世界 使用排名第一的Web服务器软件。它可以运行在几乎所有广泛