网站负载能力与访问速度优化常用技术的的总结.docVIP

网站负载能力和访问速度优化的常用技术总结 组件分离DNS负载均衡不同的web内容分布到不同的服务器上，并划分子域，利用DNS将请求自然转移到不同的服务器上。主要可以分为两大内容：1.动态内容，CPU、IO密集型2.静态内容，IO密集型通过在DNS中配置多个A记录，将请求转移到集群中不同的服务器，这有助于具有地域性问题的大型web站点上，DNS可以使用户就近访问相应的web服务器。像BIND这样的DNS服务软件提供丰富的调度策略。但是，如果集群中的主机出现故障的话，需要更新DNS缓存，这通常需要一定的时间。另外，客户端也可以通过设置host来绕开DNS调度。 跨域共享cookie：将cookie的范围扩大到父域。 HTTP重定向通过使客户端重定向，来分散和转移请求压力，比如一些下载服务通常都有几个镜像服务器。 分布式缓存无法使用页面级别缓存时，需要考虑直接缓存数据，比如使用memcached作为缓存。此时，需要考虑并发写memcached的问题。 另外，当memcached横向规模扩大，服务器数量增加时，需要一种对应算法，能够使应用程序知道应该链接哪个memcached服务器（比如，取模运算）。分布式缓存能够自动重建缓存，不必担心down机。 负载均衡负载均衡就是将请求分散，这涉及到应当如何设计调度策略，以让集群发挥最大的性能。当集群中的主机能力相当时应当尽量平均调度，能力不均时应当能者多劳。随着问题的复杂，要时刻关注调度的性能，不要让调度成为性能瓶颈。 反向代理负载均衡反向代理服务器工作在HTTP层，类似代理服务器，与普通的代理服务器不同的是，服务器在代理的后端，而不是客户端在代理的后端，这类似于NAT，只是NAT工作在网络层。同样是负载均衡，反向代理服务器强调转发而不是转移，因为它不仅要转发客户端的请求，还要转发服务端的响应。可以用作反向代理服务器的软件有Nginx、lighttp、Apache，另外目前也有一些专业的代理转发设备能够工作在应用层，例如A10。 使用代理转发要注意以下问题： 由于反向代理的转发特性，使得代理本身很可能成为性能瓶颈。一般对于CPU密集型请求，使用代理比较合适，如果是IO密集型的话，这种集群方式很可能无法发挥最大性能在代理上要开启健康检查，及时发现集群中的故障机，从而调整转发策略，这通常比DNS方式实时性更好黏滞会话：对于启动session保存用户信息，或者后端服务器使用动态内容缓存的应用，必须将用户在一段会话中的的请求保持在同一台服务器上。代理服务器一般支持类似的配置。然而，尽量不要使应用过于本地化，比如可以使用cookie保存用户数据，或者分布式Session或分布式缓存。IP负载均衡字面上看，便是利用网络层进行请求转发，类似NAT网关。然而，使用网关转发在带宽上可能出现瓶颈，因为出口只有一个，所以出口的带宽要求较高。Linux中的Netfilter模块可以通过iptables的配置。比如：对外网端口8001的请求转发给内网某台服务器，而对外网端口8002的请求转发给内网另一台服务器。这种方式简单易行，但是无法对调度做太多配置。LVS-NAT同样是Linux中的在网络层进行转发的方式，与Netfilter不同，它支持一些动态调度算法，比如最小链接、带权重的最小链接、最短期望延迟等。 直接路由直接路由是通过调度器修改数据包的目的MAC地址，转发请求数据包，但是响应数据包可以直接发送给外网的方式。这样做显而易见的好处就是无需担心网关瓶颈，但是实际的服务器和调度服务器都需要链接在WAN交换机上，并且拥有独立的外网IP地址。 这种方式的工作原理略微复杂： 首先每台服务器都需要设置一个IP别名，这个IP别名是面向客户端的一个虚拟IP，只有代理服务器对这个IP别名的ARP请求做出响应，这样客户端发给这个IP的请求包首先会到代理服务器。然后代理服务器将这个请求包的目的MAC地址填写为实际服务器的MAC地址（通过某种调度算法决定目的服务器），由于目标服务器也具有这个IP别名，因此，转发过来的数据包能够被实际的服务器接收并处理。最后由于数据包的源IP地址还是客户端请求的IP地址，因此，实际的服务器将通过交换机直接将响应包转发给客户端而无需通过代理服务器。 Linux下可以通过LVS-DR实现直接路由方式 IP隧道IP隧道的意思是，调度器将原始的IP数据包封装在新的IP数据包中，以实现调度，实际的服务器可以将响应数据包直接转发给用户端。 共享文件系统对于一些简单的提供文件下载的服务（包括html中静态资源等），自然要考虑利用集群来减压，但是如何使这些资源在集群中的主机上同步呢。 NFS一种方案是让这些主机从同一个地方取数据。比如采用NFS（Network File System）