一种多业务web缓存器的实现.docxVIP

一种多业务web缓存器的实现 0 web文件存储机制 缓冲区存储技术是使所需数据更接近存储区域的技术。通过将频繁请求的对象保留在本地服务器中,能明显地减少网络延时和满足用户对网络带宽的需求。目前,Web 缓冲存储器技术已经成为Internet基本结构中的重要组成部分。 与传统的内存缓存一样,Web缓存的一个关键性问题是缓存内容的替换策略。现有的大多数代理缓存器是基于传统内存页调度机制来实现的,在Web环境中却不是一个好的替换策略。其原因是Web文档大小的可变性很大且必须在Internet上传输,会经历很大延迟,而在内存缓存中,缓存对象(页)的大小和通信延迟都是不变的;另外,Web文档的访问来自不同用户,应该考虑不同用户的兴趣度。因此,本文提出了一种基于对象角色的替换算法,该算法综合考虑了文档的大小、访问代价、访问频率、最近一次被访问的时间以及访问兴趣度,通过实验对性能指标进行测量,验证了该方法优于其他文献的方法。 1 是否可以删除小文件。主要有以下几种 一个好的代理缓存的替换策略来源于对WWW业务访问特性的深刻认识,因此目前所提出的替换策略大部分来源于对WWW 访问特性的分析。 a)LRU(least recently used)算法。删除缓存中最近、最少使用的文档。算法实现简单,但没有考虑文档的尺寸和访问代价等。 b)LFU(least-frequently-used)算法。最先移出缓存中最少使用的文档,其优点是很简单,其缺点除了LRU 的缺点以外,如果没有失效机制,可能使过时的文档永远留在缓存器里。 c)SIZE算法。删除缓存中尺寸最大的文档,删除大的文档可以缓存更多的小文档,从而提高缓存命中率。其缺点是字节命中率偏低,可能会使得小文档永远留在缓存中。 d)Hybrid算法。主要目标是降低总的访问延迟,通过一个函数来计算每一个文档的替换权值。在进行替换操作时,删除具有最小替换权值的文档,而来自服务器s的文档p的函数值为 F=(cs+wbbs)(np)Wnzp(1)F=(cs+wbbs)(np)Wnzp(1) 其中:cs是与服务器s连接的代价;bs是到服务器的带宽;np是文档p的请求次数;zp是文档p的尺寸;wb和wn是常量。该算法综合考虑了文档的尺寸、文档的访问代价以及文档的访问频率等,但最大的缺点是参数计算复杂。 e)Greedy dual-size算法。由最近最少使用算法LRU发展而来,该算法对每一存储在Web缓存中的文档p设置了一个关联权值H,当需要将某文档存储到Web缓存时,初值H被设置为1/size(总为正值);当进行替换时,具有最低H值的文档将被替换,同时所有存储在缓存中的文档H值减去某一最小值(被替换文档的H值);如果文档被再次访问,则其H值恢复为初值。因此,最近使用的网页将比长时间未用的网页具有更大的H值,通过时间的推移逐渐减小H值并在网页再次被存取时恢复。其缺点是没有考虑文档使用率和网络延迟。 2 缓慢机程序实现 现有算法大多基于传统内存缓存算法,虽在实际中取得了一定的效果,但均存在不足之处。 a)对不同站点的文档考虑不足。例如,设缓存器中有两个大小相同的文档a和b,a来自用户感兴趣的、经常访问的站点Sa,b来自用户很少访问的网站Sb,经过一段时间的访问,两个文档的替换权值H相等,当有替换发生时,应尽量将文档a留在缓存存储器中,目前的算法并不能做到这一点;其次,同一个Web站点,不同的缓存器有着不同的访问量。通过分析得出,每一个缓存器一般存在着固定的用户群体,用户经常使用相同的缓存器去访问他们感兴趣的网站,不同的用户对不同的Web站点有着不同的兴趣度,从而不同的缓存器对不同的Web站点访问兴趣度也不同。 b)没有考虑文档最近一次访问的时间。例如有一个文档虽然它的访问次数很大,而其权值也比较大,但是由于近期内没有被访问,依据Web访问的时间局部性可知在将来的一段时间内可能访问不到,那么它的存在就会阻止其他的文档进入缓存。 针对以上问题,本文综合考虑Web文档对象特性,将每个文档赋予不同的角色,把文档的大小、访问频率、访问兴趣度、最近一次被访问的时间以及访问兴趣度作为角色的属性,每个角色根据其所具有的属性计算其价值。本文提出的算法根据每个文档的角色值R(p)来评估Web文档的价值。 2.1 膨胀因子p 当某文档被再次点击时,增加R(p)值,使其大于新进入文档r的权值,即R(r)R(p)。定义文档的权值公式为 R(p)=L+d(p)×c(p)/s(p) (2) 其中:c(p)为文档p的开销(下载时间、占用频带宽等);s(p)为文档p的大小;d(p) 为文档p的访问次数;L为一个膨胀因子。 为防止被多次点击的文档权值过大,应设置d(p)的最大值maxd,这一设置可以防止早期文档永久地保留在缓存池中,m