自适应集群流媒体文件副本放置策略.docVIP

自适应集群流媒体文件副本放置策略 　　摘要:提出了资源负载的三种负载均衡状态，分析了这三种状态的均衡程度，并据此提出一种自适应的副本放置算法，成功地应用于集群VOD系统中，弹性地解决负载均衡与后端存储带宽的矛盾。通过仿真证明，该算法在不同数据量的情况下均具有很好的负载均衡性和优异的整体性能。 　　关键词:流媒体; 集群; 副本; 负载均衡 　　中图分类号:TP37文献标志码:A 　　文章编号:1001－3695(2008)02－0594－03 　　 　　随着流媒体在互联网上的普及，众多宽带运营商正在积极地建设宽带流媒体平台，如在线音乐收费服务#65380;网络电视(IPTV)#65380;视频会议#65380;远程教育#65380;远程医疗#65380;VOD等增值电信服务。随着宽带的普及#65380;用户的增长以及多媒体信息的膨胀，流媒体服务器正在成为整体服务的瓶颈。越来越多的流媒体服务器采用了集群的体系结构，以解决单个服务器I/O能力有限#65380;硬件昂贵等问题。在集群VOD系统中，最为常见的一种系统结构就是前端机作为访问的单一入口点，客户提交请求到前端机，前端机将该请求调度到提供服务器的媒体服务器，媒体服务器读取存储介质上的媒体数据，发送给客户端。其中，存储介质可以是RAID#65380;SAN。在这两种存储介质中，SAN是性能最好的一种，但是价格太贵。所以本文选择RAID作为存储介质。 　　在没有缓存的情况下，所有服务器的I/O负载均聚集到RAID上，造成很大的I/O压力，同时，网络文件系统也难以支持。因此，许多系统均使用了服务器的本地磁盘作为缓存，以减轻后端的压力。例如，文献[1]提出间隔缓存策略，以减少服务器从存储节点取数据的频度;文献[2]通过对文件片段的访问规律分析，提出分片存储的方式以利用单部影片的内部热度不一致性来提高对热点的预测能力;文献[3]提出一种根据热度将影片均匀放置的策略。这三种方式分别以三个层次，即服务器层#65380;影片内部层和影片层来减少存储服务器的I/O负载。其中均匀副本放置策略主要是指媒体文件副本的放置策略，因而是影片层的算法。这类算法普遍依赖于影片的热度统计以及拟合的正确性。 　　许多文章分析了影片的热度分布#65380;点播曲线等。例如，文献[5]考察了媒体文件之间的点播曲线的不同，发现影片的点播分布服从Zipf分布;10%的影片点播次数占所有影片点播数的73%。这表明媒体服务器只要有存储服务器10%的存储能力，就能够分担73%的I/O压力。文献[4]根据点播的TRACE得到了单个媒体文件的点播曲线，将单个媒体文件的生命周期分为上升#65380;平稳和下降阶段，并给出了各阶段热度的预测曲线。文献[6]考察了媒体文件在各时间段的退出概率。 　　 　　1体系结构 　　 　　整个集群流媒体服务分为调度#65380;流媒体服务#65380;副本管理#65380;文件系统四个主要部分。其系统结构如图1所示。 　　调度器负责接收来自客户端的请求，查询数据库。如果请求的媒体文件存在于某个节点的本地磁盘，则调度到该节点上;如不存在，则调度到负载较轻的服务器，服务器通过网络文件系统获取存储池中的文件来提供服务。 　　流媒体服务器接收来自客户的RTSP请求，读取本地磁盘或存储池中的媒体数据，发送到请求的客户。 　　副本管理包括一个刷新计算模块和一个本地的副本管理模块。刷新计算需要定时刷新影片的点击信息。每过一天，该模块需要保存前一天的点击数，并将今天的点击数置零。另外，该模块也需要计算在本地副本管理用到的一些信息。本地副本管理则根据数据库中的信息来判断哪些影片应该保存在本地。 　　存储池中存放了所有影片，并通过网络文件系统共享给每一个流媒体服务器。 　　 　　2副本放置策略 　　 　　在上面所示的系统结构中，有两点对系统的整体性能影响非常大: 　　a)负载均衡度。当服务器均能发挥自己的最大性能时，系统整体的性能是各服务器性能之和。在图1的体系结构中，负载均衡程度取决于本地磁盘中的影片放置方式。如果每个服务器上均存放相同的影片，调度算法会选择负载较小的服务器来响应请求。但是如果存放的影片不同，则存放热点电影较多的服务器负载会比较高，而其他服务器则达不到这样的负载。 　　b)存储池与流媒体服务器之间的带宽。根据测试，NFS在100 Mbps以太网环境下能达到的带宽为34 Mbps，这样的带宽在流媒体高的I/O服务下是远远不够的。即使采用千兆以太网，带宽最多达到340 Mbps，存储将成为系统的瓶颈。可以通过增加本地磁盘上放置的影片数量，降低存储负载。 　　只有在各服务器上放置不同的影片，才能提高本地放置的影片数量。但是这样又会影响到服务器的负载均衡性。因