基于分光技术CACHE缓存系统原理和实现.docVIP

基于分光技术CACHE缓存系统原理和实现 　　一、概述 　　随着岳阳公司宽带业务的快速发展，出口带宽大量占用，不仅使网间结算成本快速增加，也严重影响用户的上网体验。如何在有效控制成本的前提下，迅速提高用户体验，是当前岳阳公司面临的重要问题。我们通过和厂商的广泛合作与研究，提出了基于分光技术的CACHE缓存系统解决方案。通过把各种用户喜爱的，广泛应用的资源存储在本地，减少网间结算成本，提高用户体验速度，达到确保用户的体验的同时不提高运营成本。 　　分析岳阳2009年以来的流量报表，我们发现所有应用中HTTP应用占第一位，约为600mbps左右，UDP第二约为400mbps左右，第三到第五位分别是：TCP、流媒体、P2P。 　　二、CACHE缓存的原理 　　(一)系统原理和架构 　　岳阳公司目前有两条GE出口和一条2.5G出口，在四台BAS和SR路由器至城域网核心路由器十一条ＧＥ上行链路加装分光器，实现不影响用户体验的情况下，将用户请求复制到分析重定向服务器（redriect SEVER,以下简称RDS）。 　　RDS对数据进行处理和分类，将TCP请求存储至信息控制服务器（Information control server，以下简称ICS）。ICS对TCP请求进行记录和比对，把符合存储要求的请求发送到相关应用的加速缓存服务器（acceleratecache server，以下简称ACS）。ACS如果没有该资源，就进行下载缓存到本地；如果本地缓存有资源，利用ARP技术，将用户的TCP请求重新定位到ACS，将ACS的资源分发到各个用户。如图1所示。 　　（二）重定向服务器实现原理 　　1、为什么使用PON技术 　　面对三万多用户的运营网络，为了不增加故障点和不应让试运行缓存系统造成网络环境恶劣，我们选择旁路接入的方式，可以随时开关缓存系统而不影响网络质量。旁路方式目前一般有两种，端口镜像和光链路分光。考虑到端口镜像方式对核心设备端口占用过多，而分光技术，采用无源设备进行分光，稳定性经过测试也有保证，而通过1:4的分光器进行分光，不仅仅可以给当前设备使用，更可以给未来其他旁路设备使用。 　　2、基于TCPFLOW的流量分析技术。 　　流量被重定向以后，我们需要对流量进行准确细致而快速的分析。2005年我们在娄底用LINUX平台多种分析软件进行过测试，发现TCPFLOW和IPTABLES可以快速和准确的对流量进行分析并且存储到数据库中。其中Tcpflow本身之分析TCP包，丢弃其他协议数据包，所以在配置和策略上更加简单方便，易于快速部署。 　　Tcpflow是一个捕捉分析TCP流并存储数据的程序，很方便对协议分析和调试。Tcpdump重构实际数据流，并且每个流存储独立的文件供以后分析。Tcpflow学习序列号，并会正确地重建数据流不论转播或外发的请求。但是，目前不分析IP碎片;数据流包含IP碎片的话，并不会被正确记录。Tcpflow是基于LBL数据包特征库的，因此支持非常丰富的协议特征。 　　（三）加速缓存服务器的实现 　　１、实现加速缓存服务器数据的发掘： 　　通过Tcpflow将分析出的可缓存请求写入数据库中，我们已经为请求的统计和分析构建了一个良好的数据环境，只需要在每台缓存服务器中安装MYSQL客户端，便可以获得用户请求数据的详细信息，包括客户IP，资源IP，资源内容等信息，以及分析统计请求数据。这样我们可以针对不同的请求实现不同的缓存策略，确保有限的空间缓存到用户需求最多的资源。同时，我们将已经存在的缓存资源目录存入数据库中，通过高性能的数据库应用，提升缓存响应速度。 　　2、http下载缓存的实现 　　要实现ＨＴＴＰ下载的缓存我们需要借用第三方工具ＣＵＲＬ进行。curl是一个利用URL语法在命令行方式下工作的文件传输工具。它支持很多协议：FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE 以及 LDAP。curl同样支持HTTPS认证，HTTP POST方法, HTTP PUT方法, FTP上传, kerberos认证, HTTP上传, 代理服务器, cookies, 用户名/密码认证, 下载文件断点续传, 上载文件断点续传, http代理服务器管道（ proxy tunneling）, 甚至它还支持IPv6, socks5代理服务器, 通过http代理服务器上传文件到FTP服务器等等，功能十分强大。 　　我们首先通过ＭＹＳＱＬ判断请求的ＨＴＴＰ资源是否在数据库中，如果在，我们使用ＣＵＲＬ发送所请求的资源到用户端，让用户最快速度的下载。如果该资源没有被缓存，我们判读资源是否达到了我们定义的下载限值，如果达到则下载，如果没有达到则不进行处