大型网站技术架构方案案例.ppt

2013年9月 大型网站技术架构方案 大型网站架构的目标与挑战（2） 每个目标背后面临着技术、设计、维护等诸多方面的挑战。 而目标本身的期望值也会根据实际情况进行调整，这也意味着网站架构建设是个不断调整的过程 负载均衡 数据备份 异地容灾 。。。 高速缓存 并行计算 异地镜像 。。。 开发框架 多层设计 业务分割 。。。 网站架构各子系统介绍 Web前 端系统 负 载均衡系统 数 据库集群系统 缓 存系统 分 布式存储系统 分 布式服务器管理系统 代 码分发系统 一个典型的大型网站架构图 Web前端系统 Web动、静分离 CDN、GAD 浏览器缓存: Header参数 HTTP1.1协议 +GET、-POST Content-Encoding、 gzip +Cookie、- Sessions, AJAX PLUGIN HTML5 能够让浏览器缓存的数据一定要缓存；浏览器能够处理的运算，决不放在服务器端来处理。 网站架构各子系统 Web前端系统 负载均衡系统 数据库集群系统 缓存系统 分布式存储系统 分布式服务器管理系统 代码分发系统 负载均衡系统 大型网站解决高负荷访问和大量并发请求采用的终极解决办法 代码分发系统: SVN + Rsync SVN: 管理方便，逻辑明确，符合一般人思维习惯； 易于管理，集中式服务器更能保证安全性； 代码一致性非常高，更新速度快； 适合开发人数不多的项目开发； 学习成本低，快速上手 Rsync (remote sync) 可以镜像保存整个目录树和文件系统； 可以很容易做到保持原来文件的权限、时间、软硬链接等等； 无须特殊权限即可安装; 快速、安全、支持匿名传输，以方便进行网站镜象。 负载均衡系统: Nginx Http server Reverse Proxy Mail server LB server: 50,000 connection Bug free 7*24 Easy to upgrade … 网站架构各子系统介绍 Web前端系统 负载均衡系统 数据库集群系统 缓存系统 分布式存储系统 分布式服务器管理系统 代码分发系统 数据库集群系统 整个网站体系的高可靠性保证 数据库集群系统：Mysql 数据库服务器和应用服务器分离 读写分离 主从同步、备份机制 读、写数据库集群 从数据库负载均衡: BigIP 网站架构各子系统介绍 Web前端系统 负载均衡系统 数据库集群系统 缓存系统 分布式存储系统 分布式服务器管理系统 代码分发系统 缓存系统 缓存分为文件缓存、内存缓存、数据库缓存。在大型Web应用中使用最多且效率最高的是内存缓存 缓存系统 数据库缓存 Query Cache Data Buffer App server cache 前端页面缓存 采用具备缓存功能的http反向代理服务器作前端页面缓存器， Varnish\Squid\Ncache\AiCache(商业)…【硬件F5】 网站架构各子系统介绍 Web前端系统 负载均衡系统 数据库集群系统 缓存系统 分布式存储系统 分布式服务器管理系统 代码分发系统 分布式存储系统 存储量很大：相册、视频 负载均衡cluster中的每个节点操作的数据从逻辑上看只能是一个整体，不是各自独立的数据资源 分布式存储系统: FastDfs 开源的轻量级分布式文件系统 文件存储、文件同步、文件访问 动态添加，方便扩充 网站架构各子系统介绍 Web前端系统 负载均衡系统 数据库集群系统 缓存系统 分布式存储系统 分布式服务器管理系统 代码分发系统 分布式服务器管理系统 目标： 集中式的、分组的、批量的、自动化的对服务器进行管理，能够批量化的执行计划任务 高效的实现大规模的服务器集群管理 分布式服务器管理系统：Cfengine 执行基于策略的配置管理 完成后期安装任务，例如配置网络界面信息； 编辑系统配置文件以及其它文件； 管理系统服务器进程； 检验、更正文件许可及所有权； 删除无用文件、压缩被选文件、在网络中分发文件； 自动挂载NFS文件系统； 检查重要文件和文件系统是否存在及其完整性。 执行命令及脚本。 应用安全相关的补丁以及相似系统的修正。 。 。。 网站架构各子系统介绍 Web前端系统 负载均衡系统 数据库集群系统 缓存系统 分布式存储系统 分布式服务器管理系统 代码分发系统 代码分发系统 开发环境?内测环境?公测环境?生产环境 源代码管理和版本控制