缓存大师的大型网络分布式解决方案201608.docxVIP

缓存大师大型网络分布式解决方案广州网纵信息技术有限公司2016年8月10日1、概述互联网发展趋势近年来随着互联网的发展，互联网用户数、互联网应用种类、网络带宽等都呈现出爆炸式的增长，对社会和人们的生活产生了巨大的影响。网络的功能也日新月异，从最初的互连互通为主，到后来的以Email、WWW浏览、FTP下载等信息共享为主，到今天的P2P、在线视频、IM、游戏、网络媒体等丰富多彩的应用为主。HTTP应用下载、在线视频等应用越来越广泛，其流量已经占据了骨干网络70％以上的流量，从第三方报告描述中可以看出，然而这个趋势还在不停扩大。未来5年互联网流量增速将高达每年56%-80%，即相当5年的带宽需求将增加10－20倍，通过对流量增长的原因进行深入分析，我们可以发现，P2P仍然是占主导地位的增长因素，同时，网络视频类业务也正在成为另一个非常重要的增长因素。运营商的挑战与对策宽带运营商致力于社区的宽带运营项目，为社区用户提供宽带接入。随着高清视频的普及，今年以来用户频繁抱怨网络速度慢、不稳定；运营商也采取增加带宽的方式来缓解，但效果不明显，且带宽租凭费用大幅度增加，给运营成本带来很大压力。面临的主要问题：用户投诉增多，主要集中在网络速度慢、不稳定；出口带宽一加再加，但网络状态没有得到明显改善；通过监控网络流量，清楚的发现在高峰期，有60%的带宽被视频流量占用；传统的电影服务器管理过于复杂，且存在版本的问题；通过技术手段与调查发现，社区用户看电影有一定的规律，主要是看最近新出的电影、电视剧等视频，且看视频的方式取决于观看速度；相比于封堵限速、增加出口带宽、引入内容源带来的有限改善，ISP运营商选择广州网纵网络流量缓存加速解决方案将是其实现运营低成本、服务高品质的最佳选择。互联网缓存解决方案采用疏堵结合的方式：缓存系统采用分析定向、自动缓存、精确调度和速度搜索四大核心技术，将占用总出口带宽60％～80％的在线视频以及大文件下载流量本地化，在采用WEB缓存解决方案后真正达到节省出口带宽、降低网间结算、提高网络利用效率、降低网络运营成本、提升用户体验的目的。2、项目目标本项目将立足企业现状，根据公司要求，对全网热点资源（如：视频、文件下载等相关应用进行缓存），最终实现对全网用户的网络质量进行优化，同时提升用户上网的体验，满足企业的需求。3、项目需求本项目旨在解决节约出口带宽，提高出口带宽的使用率。服务内容主要包括：1)、产品能够针对在线视频、HTTP下载数据进行优化。2)、能够自动发现并判断本网络中的热点资源，实现热点资源本地化缓存及读取。3)、削减重复数据流，节省出口带宽资源。4)、能够对已缓存的数据资源进行分析、整理，以图表的方案直观呈现。4、设计原则在缓存大师系统设计的过程中，主要遵循以下原则：先进性原则缓存设备必须采用专用的硬件平台以保证整体方案的，符合业界技术的发展趋势，既体现先进性又比较成熟，并且是各个领域公认的领先的解决方案。高可靠性原则由于缓存系统旁路部署在网络并支撑着大量的缓存数据流，所以整个网络设计必须考虑到高可靠性因素，防止单点故障。系统对工作环境要求较低，环境适应能力要强。可扩展性原则随着网络不断的扩充变化，要求缓存解决方案具有灵活的可扩展性。易于跟随用户数量的增长对缓存系统进行平滑、在线扩容。可管理性原则系统支持简体中文，通俗易懂，操作方便、简单；系统具有充分的权限管理.稳定性原则缓存系统在设计之初就已经将系统稳定性考虑在内，缓存系统与后台支撑系统采用特定的接口进行数据转向，因此系统可在长期不重启情况下长期稳定运行.安全性原则缓存系统采用专业的编译工具进行整体打包发开，在产品上市前做足了系统的安全检查及渗透工作，以保障系统的安全性。5、技术方案5.1部署拓扑5.2部署说明采用旁路部署方案，获取的镜像流量由骨干核心交换机发送，缓存监控服务器做奇艺、腾讯、乐视、搜狐、新浪、酷6、优酷、土豆等视频缓存，针对视频优化，提高缓存的性能和命中率；部署在核心网络出口端，实现透明缓存，降低运营商网间结算流量；部署在内网，内网用户下载不被限速，提升宽带用户的上网体验；支持主流视频网站，如优酷、土豆、奇艺、腾讯、乐视、搜狐、新浪、酷6等，支持HTTP下载的缓存，支持MP3，支持360等测速软件，支持各种移动应用加速，包括APP下载和部分移动视频；实现软件系统自动更新和缓存内容自动更新，免除管理员维护；动态添加存储服务器和磁盘，方便后期扩容；缓存大师的核心是通过对网络中的流量进行实时的采集分析，提取其中的视频流量进行分析，然后下载相应的资源保存在本地，再次发现有用户观看相同的视频，将直接引导（引导过程对于用户来说是透明的）用户从本地看此视频，不用二次占用宝贵的出口带宽，且提高了用户观看视频的体验。根据对流量的监测、分析，结合用户观看视频的习惯