基于视觉几何失真和信息丢失的重定向图像的客观质量评价.docxVIP

基于视觉几何失真和信息丢失的重定向图像的客观质量评价Chih-Chung Hsu, Chia-Wen Lin, Senior Member, IEEE, Yuming Fang, and Weisi Lin, Senior Member, IEEE摘要：图像重定向技术旨在获得可以适应不同尺寸或宽高比显示屏的重定向图像。最近，各种各样的内容识别图像重定向算法相继问世。然而，却没有一个客观有效的标准来评价重定向图像的视觉质量。该论文中，我们提出了一种全新的全参考客观标准来评价重定向图像的视觉质量，该标准基于视觉几何失真和信息丢失。该标准利用一幅图像的SIFT流矢量场的局部变化来衡量一个重定向图像的几何失真。而且我们引用了显著图来模拟人类视觉系统对几何失真的感知。另外，这个标准同样考虑到了重定向图像的信息丢失问题，并采用了显著图来进行评估。我们的实验结果表明，这个客观标准与主观评级有着良好的一致性。关键词：几何失真，图像重定向，质量测评，质量评价，SIFT流引言终端设备的异质性带来了很多新的问题，其中之一就是我们需要重新设置图像的尺寸来适应不同设备上的不同显示方案。一个传统的方法就是用均匀的减像素采样来调整图像的尺寸。然而这个方法可能会使一些显著目标变得太小从而导致糟糕的视觉效果。另一种传统方法就是图像剪裁，该方法通过保留感兴趣区域来重新设置图像的尺寸。该方法的缺点是图像的内容信息可能会丢失。最近，为了克服图像缩放和图像剪裁的问题，一些先进的内容感知图像（视频）重定向算法相继问世[1]-[7]。Avidan等人[1]提出了流行的图像重定向算法seam carving。Guo等人[2]设计了基于特征网格参数化的图像重定向算法。王等人[3]提出了通过结合显著图和梯度图实现的图像重定向算法。Wolf等人[4]引入了一个线性系统来设计图像重定向算法。最近，Rubinstein等人[5]展示了一种比只用单算子算法更优的多算子算法，该算法结合了seam carving，图像缩放和图像剪裁三种方法来重新设置一个图像的尺寸。文献[6]和[7]进一步考虑了时间信息，以确保视频重定向中连续帧之间的时间一致性。随着图像重定位应用的迅速发展，对于重定位图像的视觉质量评价就变得愈发重要。在文献[8]中，Rubinstein等人则采用用户调研的方法，他们比较了一些现有图像重定向算法得出的结果，然后用对图像对进行主观比较的方法，建立了一个包含37幅测试图像的基准，即RetargetMe数据库[9]。然而这个主观评价方法费时费力，成本又高。因此，我们迫切需求一个可以对重定向图像进行自动视觉质量评价的客观评价基准。图像质量评价算法大致上可以分成两类：双端和单端[10]。双端标准需要原始图像作为参考图像来评价失真图像的视觉质量。双端标准又可以进一步分为两个子类：一类是全参考标准（FR），该类标准需要完整的参考图像；另一类则是半参考标准（RR），该类标准只需要参考图像的一部分。与双端标准相反的是，单端标准并不需要参考图像，因此也被称为无参考标准（NR）。传统的视觉质量评价方法通常计算参考图像和失真图像的相似度来评价失真图像的视觉质量。这些客观标准包括均方误差（MSE），信噪比峰值（PSNR）等[10][11]。这些传统方法简单而直接，但是无法像人类一样精准地衡量视觉质量。现有的研究表明，人类对于自然图像的感知，远比用在传统视觉质量评价中的那些简单的统计学方法更为复杂[10]。因此，为了更好地评价失真图像的视觉质量，基于感知的标准大量涌现，比如基于人类视觉对于图像结构的敏感度的结构相似性标准（SSIM）[11][12]。最近，一些研究表明，视线追踪数据可以用来做图像重定向质量评价[13][14]。Castillo等人表示，在感兴趣区之外，重定向图像的改动并不引人注意，而视线追踪数据则可以图1. 图像重定向导致的典型失真：(a)原图像；(b)-(e)有着不同空间几何失真和信息丢失的重定向图像用来提高图像距离度量的预测能力[13]。Chamaret等人提出了一个评价重定向视频的标准，该标准基于以下四个因素：保持视觉兴趣区的能力（利用视线追踪数据），剪裁窗的时间一致性，其尺寸的时间一致性，以及使其接近理想缩放因素的能力[14]。在文献[15]中，刘等人提出了一种评价图像重定向算法质量的客观标准，该方法基于全局的几何结构和局部的像素一致性。在文献[16]中，作者做了一个大规模主观调研来评价重定向图像的视觉质量，然后建立了一个公开的数据库。该数据库包含了从57幅原图像中获得的共计171幅重定向图像，并且每一个都给了平均意见分数（MOS）[17]。基于主观的MOS分，作者进一步提出使用单调逻辑函数来综合在文献[8]中提到的五个指标，包含陆地移动距离（EMD）[18]，双向相似度[19