最新大型网站技术架构探讨.pptxVIP

“大型”网站技术架构探讨余浩东2011年6月

大型网站架构的目标与挑战网站架构演变及其技术脉络架构设计理论与原则讨论及总结

大型网站架构的目标与挑战日均流量至少IP1,000,000才算大型网站■何谓“大型”网站？没有统一的判断标准，流量大小是一个重要指标

大型网站架构的目标与挑战网站内容是否“动态”才是关键■何谓“大型”网站？

大型网站架构的目标与挑战■网站架构目标与挑战每个目标背后面临着技术、设计、维护等诸多方面的挑战。而目标本身的期望值也会根据实际情况进行调整，这也意味着网站架构建设是个不断调整的过程。负载均衡数据备份异地容灾。。。高速缓存并行计算异地镜像。。。开发框架多层设计业务分割。。。

大型网站架构的目标与挑战01网站架构演变及其技术脉络02架构设计理论与原则03讨论及总结04

[Step1]Web动静态资源分离及其与DB物理分离网站架构演变及其技术脉络优点：“简单”、安全性提高缺点：存在单点，谈不上高可用性（highavailability架构目标）技术点：应用设计要保证可扩展（framework很重要Spring/Beetle）、WebServer动/静态资源分离WebServer（Apache\Nginx\IIS\JBoss…）、DatabaseServer（Mysql\Oracle\Redis…）

网站架构演变及其技术脉络■[Step1]技术点—Web动静态资源分离img,doc,js,css等静态资源使用单独的WebHTTPServer处理请求动态页面静态化处理

网站架构演变及其技术脉络■[Step2]采取缓存处理优点：简单有效、维护方便缺点：依然存在单点技术点：客户端（浏览器）缓存、前端页面缓存、页面片段缓存、本地数据缓存/数据库缓存减少对网站的访问减少对Web应用服务器的请求减少对数据库的查询减少文件系统I/O操作

网站架构演变及其技术脉络■[Step2]技术点—客户端（浏览器）缓存能够让浏览器缓存的数据一定要缓存；浏览器能够处理的运算，决不放在服务器端来处理。

网站架构演变及其技术脉络采用具备缓存功能的http反向代理服务器作前端页面缓存器，Varnish\Squid\Ncache\AiCache(商业)…【硬件F5】■[Step2]技术点—前端页面缓存

网站架构演变及其技术脉络ESI需要服务器端支持，常见apache(mod_esi)、WebLogic、JSP标签库(JESI)等。■[Step2]技术点—页面片段缓存ESI(EdgeSideIncludes)

网站架构演变及其技术脉络■[Step2]技术点—本地数据缓存需要从数据库系统和Web应用服务器两个层面考虑缓存优化

[Step3]增加机器做HA、数据库读写分离网站架构演变及其技术脉络优点：增加服务器和HA机制，系统性能及可用性得到保证01.缺点：读写分离，增加程序难度，架构变复杂，维护难度增加02.技术点：负载均衡、DAL、数据库读写分离03.

网站架构演变及其技术脉络[Step3]技术点—负载均衡

网站架构演变及其技术脉络各个数据库厂商都有自己复制方案常见通用方案：ETL、GoldenGateTJS…[Step3]技术点—数据库读写分离及DAL读写分离逻辑分批负载均衡失效转移（failover）数据库分区透明支持两大实现模式：独立Proxy服务器；单独API库文件

[Step4]CDN、分布式缓存、分库网站架构演变及其技术脉络030201优点：异地缓存有效解决不同地方用户访问过慢的问题；分库策略带来网站性能整体提升缺点：成本大幅增加，架构进一步复杂化，也维护难度进一步增大，架构开始臃肿了技术点：CDN、分布式缓存、Shard分库

[Step4]技术点—CDN网站架构演变及其技术脉络CDN(ContentDeliveryNetwork)内容分发网络将网站的内容分发到最接近用户的网络“边缘”，使用户可以就近获取，从而解决互联网网络拥挤的状况，提高用户访问的响应速度。适合静态内容很多（如：静态页面、图片、视频等）及页面内容实时性要求不高的网站，如：新闻类门户网站CDN构建可以做的很简单，也可以很复杂，主要根据自己网站实际情况而定

网站架构演变及其技术脉络■[Step4]技术点—分布式缓存本地缓存性能优秀，但容量有限，无伸缩性采用分布式缓存方案突破容量限制，具备良好伸缩性；但分布式涉及远程网络通信消耗其性能本地缓存来得优秀，并可涉及节点状态维护及数据复制问题，其稳定性和可靠性是个挑战。目前流行分布式缓存方案：memcached、membase、redis等，基本上当前的NoSQL方案都可以用来做分布式缓存方案

网站架构演变及其技术脉络良好的松耦合的模块化设计是垂直分库的前提■[Step4]技术点—分库垂直分区读写分离（