全景视频的视口预测及人物检测研究.pdfVIP

全景视频的视口预测及人物检测研究 摘 要 全景视频作为一种新颖的视频格式受到了人们的广泛关注，而虚拟现实游戏的热潮 进一步促进了全景视频的发展。全景视频提供观看者沉浸的视频体验，视频的内容呈现 于立体球面。本文主要研究全景视频视口预测和全景视频人物检测两方面内容。 全景视频的视口预测具有重要的研究意义。在传统的视频传输过程中，视频服务器 发送完整的视频数据到接收端。然而，观看者仅对视口内的图像可见，视口外的视频内 容浪费了大量的传输带宽。因此，视口自适应的全景视频传输方式受到了广泛的关注， 其只传输观看者视口内的视频内容，从而节省了大量的传输带宽。目前，现有的视口预 测方法主要依赖历史的视口轨迹进行视口预测，忽略了图像内容对视口的影响。另外， 现有的一些视口预测方法利用卷积神经网络来提取图像特征，然而该网络并不适应球面 表示的全景视频。基于以上背景，本文提出了两种视口预测的方法。 本文首先提出基于物体跟踪的视口预测方法。该方法的设计主要基于以下两方面因 素：观看者的历史视口轨迹与未来的视口轨迹具有较强的相关性；基于视口数据集分析， 我们发现观看者倾向于持续跟踪全景视频中其感兴趣的前景物体。因此，本文结合历史 轨迹和物体跟踪信息预测视口轨迹。实验结果表明，对比基于线性回归的视口预测模型， 该方法的视口预测性能提升33.5% 。 针对以上视口预测方法进行改进，本文提出基于球面注意力的全景视口预测方法。 除视口历史轨迹和物体跟踪因素外，改进方法的设计也注意到以下因素：显著性检测可 以较好的表征视频的内容；观看者的视口轨迹与视频内前景物体的运动具有高度的相关 性。基于以上因素，我们提出了球面注意力图，其由物体跟踪、显著性检测和前向中心 偏置构成。实验结果表明，对比最新的视口预测方法，该方法的性能提升7% 。 除全景视频视口预测之外，本文还对全景视频的人物检测进行研究。其难点在于二 维矩形表示的全景图像存在内容失真和图像边界问题。本文利用全景视频的球面特性， 首先基于三维欧拉旋转将全景图像分割为多个球面子图，然后再对这些子图中的人物进 行检测，最后对这些检测结果进行后处理。该方法具有以下优势：减缓图像失真的问题； 避免由图像边界引起的不连续问题；能与其他的人物检测方法结合，从而提高全景视频 I 全景视频的视口预测及人物检测研究 人物检测的性能。实验结果表明，对比直接检测平面全景视频方法，该方法性能提升35% 至48.6% 。 关键词：全景视频；视口预测；带宽；视觉注意力；人物检测 II Research on Viewport Prediction and Human Detection for Panoramic Video Abstract As a new video format, panoramic video has attracted substantial attention, and the upsurge of virtual reality games has further promoted the development of panoramic video. Panoramic video provides viewers with an immersive video experience, where its content is presented on a three-dimensional spherical surface. This thesis conducts the research of panoramic viewport prediction and panoramic human detection. Panoramic viewport prediction has substantial research significance. In traditional video transmission, the video ser