大规模实时流媒体服务网络架构演进.docx

大规模实时流媒体服务网络架构演进 2016-08-02 卜赫 javascript:void(0);InfoQ InfoQ infoqchina有内容的技术社区媒体“ 本文根据七牛资深布道师卜赫在KVM社群里针对「大规模实时流媒体服务网络架构演进」做的分享内容整理而成。从 CDN 到LiveNet随着基础设施的升级，我们从文字时代演进到读图时代，又从读图时代演进到微视频时代。人们对媒体载体的实时性，交互性的要求越来越高。今年是 Live 时代的元年，直播 App 如雨后春笋，像极了几年前的千团大战、O2O 大战、P2P 金融大战，成为互联网的又一场战役。什么是内容分发网络内容分发网络的链路路由内容分发网络的扩容内容分发网络的安全回归本质：LiveNetLiveNet VS P2P 网络为什么要有内容分发网络，其由来是？互联网起源于美国军方的一个内部网络，Tim Berners-Lee 是互联网发明者之一，他很早就预见到在不久的将来网络拥塞将成为互联网发展的最大障碍，于是他提出了一个学术难题，要发明一种全新的、从根本上解决问题的方法来实现互联网内容的无拥塞分发，这项学术难题最终催生出一种革新性的互联网服务-- CDN 。当时 Berners-Lee 博士隔壁是 Tom Leighton 教授的办公室，一位麻省理工学院应用数学教授，他被 Berners-Lee 的挑战激起了兴趣。Letghton 最终解决了这个难题并开始自己的商业计划，成立了 Akamai 公司，成为世界上第一家 CDN 公司。内容分发网络的架构上图是一个典型的 CDN 系统的三级部署示意图，节点是 CDN 系统中的最基本部署单元，分为三级部署，中心节点、区域节点和边缘节点，最上面一级是中心节点，中间一级是区域节点，边缘节点地理位置分散，为用户提供就近的内容访问服务。下面介绍一下 CDN 节点的分类，主要分成两大类，骨干节点和 POP 节点，骨干节点又分为中心节点和区域节点：骨干节点中心节点区域节点POP节点边缘节点逻辑上来讲，骨干节点主要负责内容分发和边缘节点未命中时进行回源，POP 节点主要负责提供给用户就近的内容访问服务。但如果 CDN 网络规模较大，边缘节点直接向中心节点回源会给中间层的核心设备造成的压力过大，在物理上引入区域节点，负责一个地理区域的管理，保存部分热点数据。内容分发网络的种类网页加速视频加速文件传输加速应用协议加速直播加速内容分发网络主要分为以上几种，我们简单介绍一下：网页加速网页是比较早出现的互联网信息载体，也是 CDN 支持的最早的一种加速服务，开始主要是对静态网页、图片等等进行加速，发展到现在也可以对动态内容进行加速。视频点播加速随着基础网络的提升，单纯的图片和文字已经没办法满足大家的物流需求，于是涌现了大量的视频网站，CDN 应对这种需求开发了针对流媒体视频的加速网络，做出的技术改变，主要是改变原有 PULL 模型为 PUSH 模型，缩短了用户访问时间，避免视频流媒体的冷启动，也降低了对树形网络拓扑结构中的根节点的压力（骨干节点）。文件传输加速主要支持了很多常见的文件下载协议，如 FTP、HTTP、P2P 等，同时像七牛这种云存储厂商会支持层次更高的对象存储服务，CDN 也内建在其中，对用户无感知加速。应用协议加速推出了 HTTPS 加速，HTTP 网页压缩加速等，进一步缩短了用户访问时间，降低了源站的资源使用压力。直播加速随着 Live 时代的到来，直播成为当前 CDN 厂商的又一个主要的战场，那么 Live 时代 CDN 需要支持什么样的服务呢？流媒体协议的支持，包括 RTMP , HLS ,HTTP-FLV 等；首屏秒开，从用户点击到播放控制在秒级以内；1~3 延迟控制，从推流端到播放端，延迟控制在 1~3 秒之间；全球全网智能路由，可以利用整个 CDN 网络内的所有节点为某一单一用户服务，不受地域限制。随着全球一体化进程不断推进，跨区域、跨国家、跨洲的直播正变为常态，很可能主播在欧美，而用户在亚洲；天级别的节点按需增加，中国公司出海已成大势，CDN 需要更多的海外节点，如今比拼的更多的是海外节点可以快速部署，从提出节点增加需求到节点入网提供服务，需要达到一天之内，对 CDN 运维和规划提出非常高的要求。原有的月级别规划和入网满足不了先进的要求。内容分发网络的链路路由CDN 基于树状网络拓扑结构，每一层都有 GSLB (Global Server Load Balancing) 用于同一层内的多个 CDN 节点负载均衡，这样有什么好处呢？前面提到的众多 CDN 的应用场景中，网页加速、视频加速、文件传输加速，都是同时依赖 GSLB 和 Cache 系统的，Cache 系统是整个 CDN 系统中的成本所在，设计树形结构可以最大化