VR全景图像质量评价模型研究.pdfVIP

VR 全景图像质量评价模型研究 摘 要 伴随5G 商用时代的到来，虚拟现实（Virtual Reality ，VR ）技术正以蓬勃之势不断 革新发展，其影响力正逐渐向各行各业渗透，不断激活行业应用，触发市场需求。作为 VR 技术重要组成部分的全景图像，也开始进入人们的日常生活。与传统二维图像平面、 单一的场景内容不同，全景图像覆盖了整个 360°×180°的观看范围，借助头戴式显示器 用户可以自由探索场景内容从而获得身临其境般地体验感。高分辨率带来的真实感是全 景图像沉浸式体验质量的保障，但受现实因素影响，全景图像在拍摄、传输、存储等环 节中不可避免地会产生降质的情况。因此，有效度量全景图像的感知质量对于优化图像 处理环节，提升VR 设备性能等方面具有重要意义。本文从主观和客观两个角度对全景 图像的视觉质量进行了全面的研究。具体研究内容如下。 （1）为充分调研分析全景场景下人类观看行为及观看条件对全景图像感知质量的 影响，本文建立了一个大规模的全景图像主观质量评价数据库。数据库包含258 张使用 Insta360 Pro2 相机采集的原始图像，共涉及16 种场景内容。经过初步处理后，数据库通 过添加4 种失真 （高斯噪声、高斯模糊、亮度不连续和拼接失真）及3 种失真程度，共 获得 1,032 张失真图像。基于该数据库，本文还开展了大规模的主观实验，设定不同的 观看条件收集用户的观看行为数据和评分数据。通过对主观实验数据进行分析，本文发 现图像质量受失真类型、观看条件等因素影响。 （2 ）受用户观看行为和全景图像特性启发，本文首次尝试基于所提出的数据库训 练卷积神经网络，提出了一个无参考全景图像质量评价模型，该模型包括三部分：视口 提取模块、多尺度特征提取模块和感知质量预测模块。为了与人们在VR 设备中的观看 行为保持一致，本文从全景图像中提取视口图像作为模型的输入数据，并将用户的观看 条件自然地融入质量评价过程中。视口图像在多尺度特征提取模块进行局部和全局特征 提取，随后通过感知质量预测模块将特征信息回归成质量分数。最后，通过计算所有视 口图像预测分数的平均值获得全景图像整体质量。在自建数据库上的性能证明了所提模 型的有效性。 关键词：全景图像；主观质量评价；客观质量评价；非均匀失真 I 目录 目 录 1 绪论 1 1.1 研究背景及意义 1 1.2 国内外研究现状 2 1.2.1 VR 全景图像主观质量评价方法 3 1.2.2 VR 全景图像客观质量评价方法 5 1.3 研究内容 7 1.4 论文结构 8 2 非均匀失真VR 全景图像主观质量评价 9 2.1 引言 9 2.2 主观数据库构建 9 2.3 主观实验与数据分析 14 2.3.1 主观实验方法 14 2.3.2 数据处理和分析 16 2.4 本章小结 22 3 基于深度学习的无参考VR 全景图像质量评价模型 23 3.1 引言 23 3.2 无参考VR 全景图像质量评价模型 24 3.2.1 视口提取 24 3.2.2 多尺度特征提取 28 3.2.3 感知质量预测 28 3.3 实验结果与分析 29 3.3.1 评价指标 29 3.3.2 性能对比 30 3.3.3 消融实验 33 3.3.4 复杂度分析 34 3.4 小结 34 4 总结与展望 35 4.1 总结 35 4.2 展望 36 参 考 文 献 37 研究生在学成果 41