基于平台无关强化学习的自适应流媒体传输研究.pdfVIP

摘要 摘 要 随着互联网产业的飞速发展和网络带宽的不断提升，流媒体服务越来越受到互联网 用户的欢迎，如何使得用户群体获得更好的服务是流媒体技术的发展目标。由于网络可 用带宽受限或不稳定，流媒体的下载与播放过程中需要根据网络环境和用户本身的需求 进行自适应控制，以保证用户能够获得最大的体验质量（Quality of Experience ，QoE ）。 本文研究基于HTTP 动态自适应流媒体技术，采用深度强化学习的方法优化QoE 问 题。本文的贡献主要包括： （1）综合考虑了流媒体切片质量、码率切换平稳度和中断时间的影响构建QoE 问 题模型，针对现有研究中基于网络可用带宽预测方法的缺陷，本文采用深度强化学习的 方法规避了带宽预测不准确的问题，兼顾了当前码率选择策略对未来的影响，获得长时 间段内最优的码率选择策略。 （2 ）考虑了在CDN 与P2P 混合网络结构作为流媒体服务器的场景，针对该场景下 客户端与多个服务器之间 QoE 的优化问题建模进行了改进，兼顾了客户端在多个节点 服务器之间切换造成的时延。 （3 ）考虑了深度神经网络在计算和存储资源受限的客户端部署问题，研究了深度 神经网络剪枝技术，提出了一种权重冗余度近似计算方法，在保证输出准确率的情况下 尽量减少神经网络权重个数，可极大降低神经网络模型的计算开销和存储开销。 本文基于开源的流媒体播放框架实现了一个平台无关的自适应流媒体播放器，该播 放器融合了上述强化学习与神经网络剪枝技术，可在资源受限的客户端自适应选择流媒 体服务器和切片码率，极大提高了用户的体验质量。 关键字： HTTP 动态自适应流媒体，体验质量，码率自适应，强化学习，神经网络剪枝 I ABSTRACT ABSTRACT With the rapid development of the Internet industry and the continuous improvement of network bandwidth, streaming media services are increasingly welcomed by Internet users. How to make the user community get better service is the development goal of streaming media technology. Because the available bandwidth of the network is limited or unstable, the downloading and playing process of the streaming media needs to be adaptively controlled according to the requirements of the network environment and the users themselves, so as to ensure that the user can obtain the maximum quality of experience (QoE). This paper studies the dynamic adaptive streaming media technology based on HTTP and uses the method of deep reinforcement learning to optimize the QoE problem. The contributions of this paper mainly include: (1) Considering the influence of streaming media slice quality, rate switching smoothness and interruption