基于云计算web流量智能缓存方案.docVIP

成果上报申请书 成果名称 基于云计算的web流量智能缓存方案 成果申报单位 江苏省公司 成果承担部门 /分公司 项目负责人姓名 项目负责人联系电话 和Email 成果专业类别* 数据网络 所属专业部门* 数据线条 成果研究类别* 相关网络解决方案 省内评审结果* 优秀 关键词索引（3～5个） Web、缓存、云计算 应用投资 缓存系统投资40万元左右 产品版权归属单位 中国移动通信集团江苏有限公司 对企业现有标准规范的符合度：（按填写说明5） 符合 如果该成果来源于研发项目，请填写研发项目的年度、名称和类型（类型包括：集团重点研发项目、集团联合研发项目、省公司重点研发项目、其他研发项目），可填写多个：其他研发项目 成果简介：简要描述成果目的和意义，解决的问题，取得的社会和经济效益。 互联网网页访问的快慢会直接影响用户的上网感知和体验，目前移动宽带客户访问延迟增大，WWW服务质量问题日益。缓存技术被认为是减轻服务器负载、降低网络拥塞、增强WWW可扩展性的有效途径之一，其基本思想是利用客户访问的时间局部性（Temporal Locality）原理，将客户访问过的内容在Cache中存放一个副本，当该内容下次被访问时，不必连接到驻留网站，而是由Cache中保留的副本提供。 （1）减少网络流量网络拥塞，从而 （2）降低客户访问延迟，缓存在代理服务器中的内容，客户可以直接从代理获取而不是从远程服务器获取，从而减小了传输延迟；没有被缓存的内容由于网络拥塞及服务器负载的减轻而可以较快地被客户获取； （），客户的访问延迟增加。在设计Web缓存系统时，做到Cache命中率最大化和失效代价最小化采用七层交换与智能疏导A10设备提升效能。A10设备实现会话及七层应用的第三方分流优化和负载均衡功能，突破了传统路由器最多只能识别到四层和手工调整第三方出口流量的局限；还可对进入缓存系统的WEB流量进行筛选，自动剔除非标准TCP 80 端口的流量，降低缓存系统冗余负荷，提高命中率。 （2）目前各个地市都在逐步开展本地WEB缓存的建设工作，但是缓存系统的建设没有一个很好的模式以及性能都不高，所以我们提出了整合本地缓存和第三方出口的资源，结合云计算技术进行缓存系统整体性能的优化和提升。 采取云计算技术的缓存系统和第三方智能疏导相结合部署的组网方案，提升缓存性能，节省第三方出口带宽，提升用户上网感知。本次研究课题旨在对地市本地缓存系统的建设和优化工作做出积极有益的探索，并积累经验。 目前宽带优化中存在的问题 目前第三方出口带宽资源有限并且价格高昂，如果一旦用户投诉就往第三方疏导，势必造成第三方出口资源的不足。所以如何更好地利用和发挥第三方出口的功能是我们面临的一个重要问题。具体如下， （1）采用传统路由器时，当一个出口中断后只能倒换会CMNET，无法在出口间备份。 （2）通过传统路由器不能筛选出非80标准包，不能将纯http流量给缓存系统，造成缓存系统因这些非标准包的处理而降低了缓存的工作效率。 （3）传统路由器不能选择最快链路来实现优化疏导，只能选择某条固定链路。 WEB缓存系统主要功能及方案 总体方案介绍：WEB缓存解决方案包括两个组件,网络流量处理系统和缓存系统。 该WEB缓存解决方案，基于虚拟化和云计算架构，支持所有基于HTTP协议的服务和应用，包括新浪、搜狐等大型门户网站，华军、非凡等软件下载网站，操作系统、杀毒软件以及游戏软件的升级安装包下载，以及所有基于HTTP的视频媒体分享网站，如优酷网、土豆网等，支持FLV、MP4、MPG、MPEG和WMV等文件类型。 本方案使用高性能、分布式的网格计算集群架构，充分利用虚拟化、并行计算等前沿技术，提供一个完全冗余具有电信级可靠性及具有数千兆部署扩展性的缓存内容加速平台，并且允许扩展存储和处理器，对部分特定内容提供定制优化服务。 该web缓存解决方案的缓存算法可以根据请求内容的大众化或使用频率、内容刷新和准确性提供缓存服务，其目的是将优选普遍的HTTP媒体内容缓存至本地网络，从而可以更迅速地对用户提供快速传送，排除相同内容的重复下载，使流量本地化，节省出口带宽，节省昂贵的链路租用费用，并减少增加带宽所需的网络设备购置费用。 （一）组成模块 WEB缓存解决方案包括两个组件：网络流量处理系统和缓存系统。 1、网络流量处理系统 网络流量处理系统包括流量七层帅选和WCCP协议的流量分发。利用七层交换机开启七层包监测, 进一步过滤分拣流量的方式，筛选出非80标准包，将纯http流量给缓存系统，提高cache缓存命中率，降低缓存CPU使用率，从而达到更高效利用缓存系统的目的。 网络流量处理系统通过WCCP协议（Web Cache Communication Protocol），