时移电视集群系缓存调度研究.pdfVIP

摘要 摘要 随着计算机技术、网络技术的不断发展，电信网、广播电视网和互联网融 TV) 合发展的逐步推进，流媒体应用获得了广泛关注。时移电视(Time．shifted 作为典型的流媒体业务，受到互联网运营商以及广播电视网运营商的青睐与关 注，关于时移电视的研究具有学术意义与实用价值。时移电视是一种允许用户 在观看电视直播的过程中进行暂停、快进、快退、跳转等VCR操作的服务，具 有数据量大、实时性要求高等特点，时移电视对网络带宽、存储设备等资源的 需求较高，而单台服务器的服务能力有限，在提供大规模并发服务时通常需要 建造服务器集群系统。 本文在国家863项目“上海高性能宽带信息网、国家广电总局项目“海南 双向HFC实验网络”等课题的基础上，围绕时移电视集群系统的缓存调度展开 深入研究，分别针对分布式存储结构的集群系统、共享存储结构的集群系统、 大规模时移电视集群研究对应的缓存调度方案，建立了缓存放置问题的数学模 型，并根据系统特点和工程实践提出相应的缓存调度策略。 本文的创新工作简要归纳如下： 1．针对分布式存储的时移电视集群系统的缓存放置问题，以降低用户请求 拒绝率为目标建立了优化模型，并提出了一种基于遗传算法的缓存调度策略， 策略结合基于流行度的随机放置算法，并利用遗传技术寻找最优解，具有一定 的自适应学习能力。该策略可有效地降低集群系统的用户请求拒绝率，对不同 模式的用户点播行为具有良好的适应性。 2．针对共享存储结构的时移电视集群系统存在的存储子系统磁盘带宽瓶 颈，讨论如何在服务器上缓存热门节目内容的缓存放置问题，建立了时变流行 度模型与多目标优化模型作为分析框架，提出了完整的缓存调度策略。该策略 考虑了时移电视具有实时录制、用户点播行为随时间变化等特点，包括分组复 制算法、代价感知的最小负载优先缓存放置算法和双阈值动态调整算法，策略 在调度过程中充分利用之前已经缓存的节目副本来避免副本的创建和删除，在 保证系统实现负载平衡的同时降低了调度的部署代价，使缓存调度策略更适合 于时移电视系统的工程应用。 3．时移电视集群系统服务规模的扩大给缓存调度带来了更大的难度，需要 利用有限容量的内存来降低磁盘带宽消耗。针对大规模服务系统提出了一种协 同缓存策略，以管理调度服务器为中心，结合接入控制、缓存管理等技术对集 群内所有媒体服务器的缓冲区协作管理，当管理服务器收到一个用户请求后， 它会综合考虑全局缓存情况来决定服务器任务，以此提高整个系统的缓存命中 I 摘要 率。此外还针对时移电视支持VCR操作的特点，对协作缓存策略进行了扩展。 试验表明协作缓存策略可以有效地提高磁盘I／O的利用率，降低系统的用户请 求拒绝率，适合应用于大规模的时移电视集群系统。 关键词：时移电视，集群系统，缓存调度，缓存放置，协作缓存，视频点播， 流媒体，负载平衡，三网融合 Abstract ABSTRACT Withthe of andbroadband rapiddevelopmentcomputingtechnology and oftelecommunications networks convergence networks，broadcast networking and media obtainedmoreattentions．Asa intemet,streamingapplications typical media TV serviceisintr