一种多协议融合的服务器集群缓存设计.docxVIP

一种多协议融合的服务器集群缓存设计 1 减少了访问延迟,减轻了网络阻塞 随着私家车应用的快速普及，世界上的移动网络向internet提出了新的要求。解决这个问题的一个重要办法是缓存用户访问过的主页。缓存的主页作为一个复本存放,在下一次访问时,用户不必连接到该主页的驻留网站(original server),而是由上一次保留的复本提供,从而降低了访问延迟,减轻了Web服务器负载,同时释放了本该占用的网络带宽,改善了网络阻塞现象。但性能提高的基础和前提是正确性,由于高速缓存机制本身的特点,存在产生错误的因素,特别是在服务器集群等并行计算环境下,(即cache一致性问题),所以只有解决了高速缓存的一致性问题,才能充分发挥它的作用。 2 代理服务器存储机制减少访问延迟和延迟的实现方法 一般说来,Web缓存有3种缓存实现方式,即客户端、服务器端以及代理服务器端缓存机制。 客户端的缓存通常是由浏览器在用户本地实现的,如Netscape公司的Navigator和Communicator浏览器、Microsoft公司的Internet Explorer浏览器都提供了缓存用户一定时期内访问过的主页信息的缓存机制。这种缓存机制的主要特点是缓存的每个主页信息长度有限、实现的一致性策略和替换策略都比较简单,它经常提供给用户的是一些失效了的陈旧信息,因此是一种不大可靠的缓存机制。 服务器端的缓存机制是由Web服务器软件在服务器上实现的,通常在服务器上实现二级或三级cache作为缓存空间,它比存放主页的硬盘具有更高的访问速度。当服务器响应用户对某个主页的访问请求后,也在缓存空间保留一个复本,下一次如果有相同的访问请求,就直接将缓存空间保存的复本提供给用户。这种缓存机制能够适当地降低访问延迟,但是对服务器的要求较高,增加了服务器软件的复杂度。为了更好地降低延迟,一些服务器还实现了预取(pre-fetching)功能。 最后一种缓存方式是代理服务器缓存机制,这里简称为代理缓存。用户对某个网站的主页访问请求到达代理服务器后,一旦服务器存放有该主页的复本,服务器直接提供给用户作为响应;如果服务器没有该主页的复本,则将请求重定向到驻留网站,获得该主页给用户,并且在服务器上保存一个复本。这种缓存机制的工作方式如图一所示,它具有多个用户可以共享所有主页复本的特点,降低了访问延迟和费用。同时,由这些代理服务器提供的缓存服务还可以连接在一起,构成层次型(hierarchy)缓存模型,在Internet缓存协议(ICP,Internet CacheProtocol)中详细描述了这种模型的规范。典型的代理缓存机制有Colorado大学实现的Harvest Object Cache、Netscape公司的Netscape Proxy Server以及在Harvest基础上NLANR开发的Squid缓存系统等。 比较3种缓存方式,代理缓存机制是解决World Wide Web访问速度慢、服务器负载重和网络阻塞等问题的最好办法。它具有客户端缓存机制降低访问延迟的优点,因为通常代理服务器都是和客户机在同一个局域网内,主页信息从代理服务器到达客户机的延迟时间可以忽略不计。其次,因为缓存由专门的代理服务器实现和维护,缓存机制可以占用较大的磁盘空间,有利于存放日益增多的大容量多媒体信息。另外,缓存的一致性维护策略和替换策略可以做得比较复杂,从而提高命中率(hit rate)和减少抖动(thrashing)。最后,由所有代理服务器构成的层次型缓存,可以将最接近用户的主页复本返回给用户,增加了信息的本地化(locality),也降低了访问延迟。 但是,目前这些缓存系统基本都是基于用户对某个主页的访问进行缓存的,并以此来计算命中率,实际上不能真正反映用户的访问行为,因此性能仍然比较低,通常有效命中率只在40%左右。一个高效、实用的代理缓存机制必须记录和分析用户的访问行为,并且不只是考虑提高命中率,也要考虑降低缓存机制的访问延迟,基于网站的代理缓存系统一Site-based Cache就是针对这些问题的一种解决方案。 在这一系统中,每个网站被当成一个由用户访问过的该网站主页为元素构成的向量,缓存的一致性维护是由服务器后台进行的,而缓存的替换算法以整个向量为对象进行计算。同时,对某个网站的主页存放目录结构按命中率进行重新排列,提供用户最短路径得到所需的主页,这样可以相当明显地降低访问延迟,也提高了实际命中率。Site-based Cache是在一个可扩展Web服务器集群上实现的,因此具有更多的可用空间,可以缓存大数据量的主页信息。 3 基于服务器组的网站缓冲 3.1 web服务器集群 为了解决单台主机作为Web服务器存在的响应时间长、容量不够等问题,当前大部分提供Web信息服务的网站都采用了服务器