构建多手段协同互联网流量综合管控体系.docVIP

构建多手段协同互联网流量综合管控体系 　　【摘 要】在全球互联网蓬勃发展的今天，运营商面临着前所未有的严峻挑战。互联网内容大量在固网网内形成事实上的垄断，网间互访通道受到竞争对手控制，严重影响移动互联网用户访问体验。通过流量分析与监控、内容加速系统、第三方出口和内容源直接引入等多种手段，用户上网速度得到迅速提升，有效改善了移动宽带的业务形象，有利于进一步推动宽带业务的大发展。本文分析了如何构建多手段协同的互联网流量综合管控体系问题。 　　【关键词】多手段协同；互联网流量；综合管控体系 　　1.多手段协同的互联网流量综合管控体系构建 　　通过流量分析与监控、内容加速系统、第三方出口和内容源直接引入等多种手段，用户上网速度得到迅速提升，有效改善了移动宽带的业务形象，有利于进一步推动宽带业务的大发展。 　　1.1流量分析与控制 　　在未对出口流量进行分析与控制之前，出口P2P流量占比达70%，08年底流量监控平台上线，对省网40G出口流量进行分析和控制，目前将峰值P2P流量压缩了15%。 　　通过流控与缓存的配合，达到既降低出口流量减少结算又不降低甚至提升用户使用感知的目的。 　　1.2内容加速系统 　　通过构建内容加速系统，改变传统网站重镜像模式，在网内客户访问过程中进行解析转换，在接到服务请求后通过主动的内容请求和缓存实现加速服务。利用其CDN平台对近千个门户类网站内容加速，覆盖省内约40多万宽带用户，平均访问速度提高2-3倍，峰值流量达到3.1Gbps。 　　1.3第三方出口 　　通过第三方出口，将CDN的回源及部分高价值业务进行专门疏导，通过缓存与第三方出口的配合，有效规避竞争对手的监测与封堵，充分发挥第三方出口的网络优势，提升缓存的效果。 　　1.4内容引入 　　通过流量分析与监控，深入分析现网用户行为，筛选出TOP100，成立专门团队，完成了66家核心内容引入，并与最大的独立IDC世纪互联合作，近期批量引入其网内近3000家网站，可有效提升网站访问量，提高用户满意度。 　　2.主要创新点 　　2.1流控与缓存协同互动，综合管控出口流量 　　2.1.1技术原理 　　流量??制主要通过旁路分光方式对所有出口流量进行监控分析，对于不同协议（http、P2P等）的流量进行不同处理，一般可通过发送干扰包方式进行带宽控制。 　　流量控制可有效降低出口流量，减少结算费用，但对用户使用感知影响较大，缓存主要通过对流量的分析、识别，对不同协议的流量根据用户访问的频度对内容资源进行缓存，减少相同内容多次出网访问，同时可明显提升用户感知。 　　通过两者的协同互动，可在有效控制出口流量的同时提升用户的使用感知。 　　2.1.2实施方案 　　通过流量监控平台（华为SIG）将出口P2P峰值流量压缩15%。 　　P2P流控策略主要对P2P下载类应用进行实施，暂不对P2P视频类业务进行部署，避免引起批量投诉。 　　流控对用户使用感知的影响通过缓存平台进行弥补。 　　迅雷专用缓存主要针对迅雷下载应用，由迅雷公司进行全国性统一调度，一般命中率在40%左右。 　　通用型缓存主要针对主流的迅雷下载、BT、电驴等应用（三类应用占P2P下载类流量的90%以上），根据用户访问频度设定缓存策略，命中率较高，一般超过80%。 　　2.2基于用户行为深度分析的内容资源联动更新 　　通过对缓存平台数据的深度分析，可有效了解目前用户下载、视频的热点，根据此热点数据，将其提交给本地下载类、影视类资源网站，作为其进行内容更新的重要参考数据。 　　这种联动因为是以现网用户的实际行为为基础的，因此可有效激活本地资源类网站的访问量，同时也可显著减少用户的实际下载量，减轻缓存平台的压力。 　　2.3缓存环境下内网P2P用户模式的重组还原 　　P2P应用与网络无关，易造成运营商出口拥塞，其完全为离散的分布式架构，流量难以管理。 　　通用型缓存通过截获P2P用户请求，将其引导到缓存，相当于将应用模式从分布式转换成了C/S模式。 　　这样的转化可有效降低出口流量，控制网内用户的流量，但也会给缓存带来较大的压力，随着用户的增长，缓存的负载会逐步加大，会逐渐成为瓶颈。 　　通过缓存平台优先返回本区域peer用户地址，引导用户之间自行的数据交换，一方面可控制出网的流量，同时可在本区域内还原P2P技术的优势，提升用户感知，减轻缓存平台压力。 　　2.4 Web网站资源缓存模糊匹配 　　目前大型网站为了支撑大规模用户的访问，一般资源存储采用全分布式架构，硬件上会进行分组，在每个组内再进行负载均衡。 　　这样的架构对于缓存来说存在一定的难度，因为相同的内容用户每次访问的绝对地址是随机变化的，如果根据地址进行缓存内容匹配的话，命中率相