基于双向注意力机制的无参考图像区域质量评估.pdfVIP

基于双向注意力机制的无参考图像区域质量评估 摘 要 人类视觉系统的注意力机制指出，人在观察和评估图像质量的过程中，是由自底向 上和自顶向下两部分协同作用，来提取和注意到关键的区域信息。同时，我们观察到真 实场景中的图像可能包含多种失真，即使只含有一种失真，其对图像各个区域的影响程 度也不一样，因此针对关键的图像区域进行分析和评估对整张图像质量评估十分重要。 在图像质量评估领域，直接对图像的失真区域进行标注是一项耗时耗力的工作。因 此，现有的工作一般是在无参考图像信息的基础上，通过卷积神经网络对整张失真图像， 而不是针对图像区域进行学习和提取特征，分析得到质量评估结果。 从注意力机制和弱监督学习针对图像区域的最新研究成果得到启发，我们提出了一 种基于双向注意力机制的无参考图像区域质量评估网络(Regional Attention Network, RANet) 。该网络主要从两个方面对图像中的候选注意力区域进行学习和分析。首先，我 们分析了每个候选注意力区域对整张图像质量评估的期望贡献。我们设计了自顶向下的 注意力监督层将整张图像质量评估结果分配给到每个候选注意力区域，其中候选注意力 区域可以通过有效的区域检测算法来提取和筛选。该网络从中选出关键注意力区域，利 用候选注意力区域与其交叠面积的占比 （贡献比），使得整张图像质量评估结果分配给 每个区域，用以进一步分析。自底向上的注意力评估网络利用该期望贡献，增强了基于 候选注意力区域的学习和分析，进一步改善了整张图像的质量评估结果。 我们已在多个公开数据集上进行了测试评估，结果达到了最优性能。同时，大量实 验证明了RANet 的泛化能力和有效性。 关键词：人类视觉系统；无参考图像质量评估；注意力机制；弱监督学习；多示例 学习 I Regional Attention Network for No-Reference Image Quality Assessment Abstract Attention mechanism of human visual system states that the bottom-up part and the top- down part work together to extract the key distortion information, in the process of observing and assessing the image quality. We have also observed that images in real scenes contain multiple distortions, and even just a single type of distortion may have different degrees of impact on regions of an image. Therefore, it is important for overall image quality assessment to extract and analyze key image regions. Annotating the distortion types of image regions is a time-consuming and labor-intensive task in the area of image quality assessment. Thus, the previous papers generally adopt the convolutional neural network to learn and extract features on the entire distorted image, instead of image region, to obtain the quality assessment result. In this dissertation, we are inspired by the