大型互联网架构设计.pptVIP

“大型”网站技术架构探讨

目录大型网站架构的目标与挑战网站架构演变及其技术脉络架构设计理论与原则讨论及总结

大型网站架构的目标与挑战■何谓“大型”网站？网站日均流量[IP/PV]IP≈5,972,587PV≈9,376,962IP≈229,680,000PV≈2,955,981,600IP≈25,680,000PV≈222,132,000IP≈5,532,000PV≈25,723,800IP≈300,000PV≈747,000没有统一的判断标准，流量大小是一个重要指标日均流量至少IP1,000,000才算大型网站

大型网站架构的目标与挑战■何谓“大型”网站？网站内容是否“动态”才是关键

大型网站架构的目标与挑战■移动APP的几个重要指标网站内容是否“动态”才是关键

大型网站架构的目标与挑战■网站架构目标与挑战每个目标背后面临着技术、设计、维护等诸多方面的挑战。而目标本身的期望值也会根据实际情况进行调整，这也意味着网站架构建设是个不断调整的过程。负载均衡数据备份异地容灾。。。高速缓存并行计算异地镜像。。。开发框架多层设计业务分割。。。

大型网站架构的目标与挑战网站架构演变及其技术脉络架构设计理论与原则讨论及总结

网站架构演变及其技术脉络■[Step1]Web动静态资源分离及其与DB物理分离优点:“简单”、安全性提高缺点:存在单点，谈不上高可用性（highavailability架构目标）技术点:应用设计要保证可扩展（framework很重要Spring/Beetle）、WebServer动/静态资源分离WebServer（Apache\Nginx\IIS\JBoss…）、DatabaseServer（Mysql\Oracle\Redis…）

■[Step1]技术点—Web动静态资源分离img,doc,js,css等静态资源使用单独的WebHTTPServer处理请求动态页面静态化处理网站架构演变及其技术脉络

■[Step2]采取缓存处理优点:简单有效、维护方便缺点:依然存在单点技术点:客户端（浏览器）缓存、前端页面缓存、页面片段缓存、本地数据缓存/数据库缓存网站架构演变及其技术脉络减少对网站的访问减少对Web应用服务器的请求减少对数据库的查询减少文件系统I/O操作

■[Step2]技术点—客户端（浏览器）缓存技术点说明根据HTTP协议特性，修改Header参数（Cache-Control、Expires、Pragma、Last-Modified、Etag），让浏览器来缓存页面（一些优秀开发框架会对此做透明的封装，例如：Beetle）/Protocols/rfc2616/rfc2616-sec14.html使用HTTP1.1协议，由于httppipelining技术特性，能够使用get请求的决不采取post请求为了节约带宽，压缩页面（Content-Encoding:gzip）；页面各个元素能“小”即“小”，例如：js包压缩，js合并，图片压缩等会话状态信息采取Cookie代替传统使用服务器Sessions对象存储习惯做法；使用Ajax实现页面局部刷新如果可能，可采取浏览器插件技术突破浏览器功能限制，将原本在服务器端运算，尽量迁到浏览器端。ActiveX/Applet/Flash/….HTML5最值得期待，她的出现必定改变整个Web世界能够让浏览器缓存的数据一定要缓存；浏览器能够处理的运算，决不放在服务器端来处理。网站架构演变及其技术脉络

■[Step2]技术点—前端页面缓存采用具备缓存功能的http反向代理服务器作前端页面缓存器，Varnish\Squid\Ncache\AiCache(商业)…【硬件F5】网站架构演变及其技术脉络

■[Step2]技术点—页面片段缓存ESI(EdgeSideIncludes)ESI需要服务器端支持，常见apache(mod_esi)、WebLogic、JSP标签库(JESI)等。网站架构演变及其技术脉络

■[Step2]技术点—本地数据缓存需要从数据库系统和Web应用服务器两个层面考虑缓存优化网站架构演变及其技术脉络技术点说明关系数据库系统（如：Oracle\MySql）QueryCache策略：一般以sql为key来缓存查询结果，尽量不要拼sql，使用PreparedStatement的“？”模式sql；QueryCache大小要根据数据库系统具体情况合理设置，过大只会浪费内存，参考值：128M关系数据库系统DataBuffer策略：就是数据库数据内存缓存器，其访问命中率决定数据库性能，可根据实际物理内存大小适量增大，如：MySql建议buffer值为物理内存60-80%应用服务器Cache包括：对象缓存（例如：对象线程安