基于人类视觉感知特性的无参考立体图像评价方法研究.pdfVIP

摘要

随着3D技术的不断发展，立体图像已应用于众多领域。高质量、高舒适

度的立体图像能够为观众带来沉浸式体验，反之可能会引起视觉疲劳等生理不

适。因此有必要对立体图像的优劣进行评价，进而为立体成像技术的优化提供

依据。

对立体图像从不同角度进行评价衍生出了不同的研究分支：从失真角度进

行评价的立体图像质量评价和从视差分布角度进行评价的立体图像舒适度评价。

论文分别围绕上述两方面内容展开研究，在深入挖掘人类视觉感知特性的基础

上以深度学习为工具，提出了一种基于视觉感知的立体图像质量评价模型与一

种基于伪全局特征和注意力机制的立体图像舒适度评价模型。论文的主要工作

内容如下：

第一：为了提高所搭建立体图像质量评价模型的评估性能，如何有效地模

拟人类视觉感知特性是目前该领域要解决的关键问题。目前大多数研究人员主

要关注视觉通路中双目信息的宏观交互和处理模式，论文则在深入研究视觉特

性的基础上，进一步挖掘视觉通路中视网膜、外侧膝状体和视觉皮层的结构特

征，搭建了与人类视觉感知特性更加契合的立体图像质量评价模型。该模型提

出的多感受野信息提取和融合模块、可形变特征提取模块与反馈模块分别对人

眼视觉通路中的多感受野特性、方向选择性与反馈机制进行了模拟。

第二：数据量不足一直是基于深度学习的立体图像舒适度评价任务中的难

题之一。针对如何依靠有限数据实现数据有效增强的问题，论文首先提出了一

种基于“随机裁剪+排列组合”的数据增强方法，该方案既有效扩充了数据集，

又保证了目标任务、网络输入和标签的一致性；另一方面，由于图像中不同区

域的视差特征对图像的整体舒适度有不同的影响，论文提出了一种关注视差特

征且考虑视觉显著特性的立体图像舒适度评价模型，该模型在局部特征提取阶

段和伪全局特征提取阶段分别引入空间注意力机制和通道自注意力机制，以模

拟人眼的视觉显著特性。

论文针对上述两任务设计的算法方案在各自的公开数据集上进行了性能验

证。结果表明所提两种方法能够更好地模拟人类的视觉感知特性，与其它方法

相比预测性能更加准确，且具有良好的泛化能力。

关键词：立体图像，质量评价，舒适度评价，人类视觉感知，注意力机制

ABSTRACT

As3Dtechnologycontinuestoevolve,stereoimageshavebeenappliedinmany

fields.Stereoscopicimageswithhighqualityandhighcomfortcanbringimmersive

experiencetotheaudience,otherwisetheymaycausevisualfatigueandother

physiologicaldiscomfort.Therefore,itisnecessarytoassessthestereoimages,soas

toprovideabasisfortheoptimizationofstereoimagingtechnology.

Theevaluationofstereoimagesfromdifferentangleshasledtodifferent

researchbranches:stereoimagequalityevaluationfromtheperspectiveofdistortion

evaluationandstereoimagecomfortevaluationfromtheperspectiveofdisparity

distributionevaluation.Thispaperfocusesontheabovetwoaspects,andproposesa

stereoimagequalityevaluationmodelbasedonvisualperceptionandastereoimage

comfortevaluationmodelbasedonpseudoglo