视频点播系统层级式缓存优化技术研究-控制科学与工程专业论文.docxVIP

摘要摘要 摘要 摘要 随着网络的普及，互联网已经成为影响我国经济社会发展和人民生活的关键 行业，而Web2．0技术的发展则促使网络内容从单纯的文本发展成为包含图像、 声音、文字等多种内容的多媒体内容，其中最典型的多媒体内容就是在线视频。 为满足广大网络用户对在线视频的观看需求，视频点播系统应运而生。由于视频 文件的大小远远高于传统的文本文件，海量的视频点播需求给互联网带来了巨大 的数据传输压力，由此导致互联网出现大量的拥塞、丢包现象，严重影响了互联 网的整体性能，并极大地降低了视频点播系统的用户体验。 本文从减轻互联网数据传输压力、提高视频点播系统服务质量的角度出发， 研究视频点播系统的层级式缓存的优化问题，以提高缓存系统的使用效率、降低 缓存系统的部署成本。面对视频点播系统层级式缓存具有的缓存节点众多、缓存 层次各异、存储设备复杂、视频流行度多变等挑战，本文着重研究了其中的视频 流行度预测、混合存储设备数据部署和多缓存节点相互协作等问题。本文的主要 工作与研究成果可归结为如下三点： 1)提出了一种基于历史访问信息指数加权的视频流行度预测算法。由于视 频用户的点播兴趣总是不断变化的，由此导致视频的流行度也随时间不断变化。 随着当前视频总量的日益膨胀，视频流行度的时变性日趋增强，基于传统算法难 以及时、准确地预测视频流行度。本文提出了一种基于历史访问信息指数加权的 视频流行度预测算法，对视频不同时刻的访问信息施加随时间变化的动态权重， 越老旧的访问信息其权重越低。算法既能够充分利用视频的历史访问信息来抑制 用户行为的随机性对流行度预测的影响，又能通过逐步降低历史访问信息的权重 来追踪视频流行度的动态变化，并且计算复杂度较低，从而实现了对视频流行度 的准确、快速预测。 2)提出了一种基于写负荷负反馈的混合存储设备数据部署算法。缓存节点 的存储设备的硬件性能对缓存节点的响应速度和并发服务能力有着重要的影响。 传统的普通硬盘容量大、成本低，但是读写性能较差，而新兴的固态硬盘读性能 较高，但是成本高、写寿命有限。由普通硬盘和固态硬盘结合而形成的混合存储 设备能够充分利用两种硬盘的互补特性。本文提出了一种基于写负荷负反馈的混 合存储设备数据部署方法，把混合存储设备的数据部署问题描述成不同存储设备 之问的基于阈值的数据迁移问题，并把固态硬盘的写负荷作为一种负反馈信息提 供给迁移算法，从而使得迁移算法能够动态调整数据迁移的阈值，最终实现了在 固态硬盘写寿命受限条件下的混合存储设备的数据部署优化。 万方数据 摘要3)提出了一种基于存储收益的层级式缓存分布式协作算法。在层级式缓存 摘要 3)提出了一种基于存储收益的层级式缓存分布式协作算法。在层级式缓存 系统中，由于同一层缓存节点的服务区域位置邻近而不同层缓存节点的服务区域 相互覆盖，不同缓存节点观测到的视频流行度具有很强的相似性。因此，各个缓 存节点需要相互协作来降低存储内容的冗余。层级式缓存系统的最优协作问题是 一个复杂的全局最优化问题。本文首先提出了视频在缓存节点上的存储收益的概 念，进而利用存储收益把多缓存节点协作的全局优化问题转化成单个缓存节点上 的存储收益排序问题和不同层级缓存节点之间的数据迁移问题，极大地降低了层 级式缓存系统缓存协作的复杂度，同时提高了缓存系统的使用效率。 本文对所提算法进行了大量仿真实验，结果表明所提出的流行度预测算法的 字节命中率高于传统的缓存算法、混合存储设备数据部署算法能够严格满足存储 设备的使用寿命限制、分布式协作算法的整体性能高于传统的协作算法。 关键词：视频点播，层级式缓存，流行度预测，混合存储设备，协作缓存 万方数据 Abs仃actABSTRACT Abs仃act ABSTRACT As networks become more and more ubiquitous，Intemet plays critical role in the modem economy,the society and the lives ofbillions ofpeople．Recently，with the fast development of Web2．0 technology,text—based web contents are gradually replaced by more informative multimedia contents including images，sounds and words．As the most typical multimedia contents，online videos popular all the world．In order to provide massive network users the nee