一种新型分布式代理缓存系统―双层集群缓存.docVIP

一种新型分布式代理缓存系统―双层集群缓存摘要： 为了提高代理系统的整体性能，基于内部网络用户访问时间的局部性和相似性，并结合现有的分布式缓存系统，本文提出了一种新型的分布式代理缓存系统――双层缓存集群。双层缓存集群系统分为网内集群缓存层和代理集群缓存层，采用双层代理缓存结构，充分利用现有内部网络资源，分散了代理的负担，降低了代理之间的通信开销，还增强了缓存资源的利用率，提高了用户请求命中率，降低了代理系统的整体资源消耗 关键词： 中图分类号： ＴＰ３９１．４ 文献标识码：Ａ 文章编号：２０９５－２１６３（２０１１）０１－００３９－０５ ０引言 随着社会经济的发展，使用Ｉｎｔｅｒｎｅｔ用户的迅速增多，ＷＷＷ服务即Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ的流行，使得网络负载不断加重。同时，用户对网络的速度和效果愈加重视，对网络的访问质量提出了更多的要求，这对互联网服务提供商ＩＳＰ（Ｉｎｔｅｒｎｅｔ Ｓｅｒｖｉｃｅ Ｐｒｏｖｉｄｅｒ）提出了更高挑战。根据Ｉｎｔｅｒｎｅｔ上的统计资料表明，超过８０％的客户经常访问２０％的热门内容，因此构建代理、使用缓存是一个很好的解决思路[１] 一般的局域网代理比较简单，在局域网内搭建一台代理服务器，当内网的某个客户请求某一个ＷＥＢ服务时，首先向代理服务器发出请求，如果代理服务器存在相应的缓存副本，就会直接返回给客户端；否则，则向相应的ＷＥＢ服务器请求 构建代理可以大大提高请求ＷＥＢ服务的效率，如果在局域网构建相应的代理服务器，可以有效地节省ＩＰ，保护局域网的内部网络安全，容易构建全面的审计功能。但是，随着网络的不断发展，众多的内部网络例如大学，大公司的局域网等不断扩大，构建单一的出口代理，会出现负载过重、单机故障等众多问题。因此，分布式代理缓存的提出无疑有效缓解了这个问题[２] 本文主要分析了现有的两种分布式代理缓存架构，结合两种架构的优缺点，提出了一种新的分布式代理缓存架构―双层缓存集群。该架构可以有效地解决现存两种架构的缺陷，并能结合当前内网的用户行为和系统资源做出有效的预测、分析、协调和自适应，达到系统资源与用户请求总体的最优 １两种分布式缓存模型 １．１ＩＣＰ（Ｉｎｔｅｒｎｅｔ Ｃａｃｈｅ Ｐｒｏｔｏｃｏｌ）缓存模型[３] 对于这个模型，在整个缓存系统内部，采用ＩＣＰ协议来进行询问通信，并处理请求响应信息。该协议广泛应用于Ｎｅｔ Ｃａｃｈｅ和Ｓｑｕｉｄ等多个代理软件中。对于该系统架构，提取一种典型情况如图１所示 从图１可以看出，整个缓存系统架构的分布层次关系是树状的，Ｐｒｏｘｙ０是根节点，Ｐｒｏｘｙ１到Ｐｒｏｘｙ５是子节点。相应的客户端向整个代理系统请求缓存数据的时候，是从最底层的子节点向上请求，如果该子节点存在相应的数据，直接返回；否则会向兄弟节点发送询问消息。如果所有的兄弟节点都没有，再依次向父节点请求；若仍没有，父节点再向其兄弟节点请求。依次向上进行，最后，若都没有，再向相应的Ｗｅｂ服务器请求数据 这种ＩＣＰ缓存模型的特点就是通过发送大量的询问消息，期待获取缓存的存储信息，以及时向客户端反馈 考虑到查询信息的规模性，因此，在大规模内部网络与大量请求的情况下，对带宽的消耗是十分严重的，同时查询的时延会增加。极端情况下，假设客户端请求的数据在整个分布式缓存系统中不存在，也仍然要发送大规模的查询信息，遍历所有的节点，显然效率较低 １．２缓冲阵列缓存模型[４] 对于此种模型，比较有代表性的就是缓冲阵列协议模型ＣＡＲＰ（Ｃｏｍｍｏｎ Ａｃｃｅｓｓ Ｒｅｄｕｎｄａｎｃｙ Ｐｒｏｔｏｃｏｌ）。针对ＩＳＰ的询问式架构产生的难以定位缓存位置的问题，缓冲阵列协议提出建立整体映射路由的方式来准确定位缓存存放位置。映射路由的建立是通过建立缓存索引与代理节点信息融合的方式来实现的，对于任意缓存，根据其索引值直接定位到某一特定存储节点。当下一次，即再次查询的时候，通过缓存的索引值，能够通过索引映射表准确定位到存储节点的信息，从而不必发送大量信息进行查询来定位。其整体的架构如图２所示 当客户端向缓冲阵列缓存系统请求数据的时候，客户端首先向ＣＭ（总体控制器）发出请求，ＣＭ根据用户请求缓存数据的索引值，查询相应的索引映射表，直接定位到对应的代理服务器，从而返回客户数据。该系统维护一个特定代理成员的列表，该列表监视着对所有阵列节点发出的缓存数据请求，以便确定成员的状态，如果请求不成功，则本地代理节点会将该代理节点标记为寿命期内不可用，即请求不会再转发给该节点，直到下一次的查询到来为止 该模型通过索引映射表的建立能够精确定位到节点的缓存存储信息，从而迅速找到目标缓存，不必发送大量的查询信息。但从另一方面来讲，因为ＣＭ控制节点的存在，导致所有客户请求首先向Ｃ