基于深度学习的无参考图像质量评价综述.docxVIP

基于深度学习的无参考图像质量评价综述 摘要：图像质量评价是图像处理、图像/视频编码等领域的基础性问题，用于评估图像的失真程度，被广泛应用于算法设计与分析、系统性能评估等方面。无参考图像质量评价(又称为盲图像质量评价)是一种重要的客观质量评价方法。因为无需原始的参考图像，因此具有广泛的应用前景。近年来，随着深度学习技术的不断发展，人们提出了多种基于深度学习的无参考图像质量评价方法。对该领域近期的研究进展进行了综述，介绍了衡量算法优劣的指标和数据集，对几种代表性的无参考图像质量评价方法的性能进行了对比，最后给出了未来可能的研究方向和发展展望。 随着信息化时代的发展，数字图像在各种行业中扮演着越来越重要的角色图像质量评价(Image Quality Assessment,IQA)是图像处理、图像/视频编码等领域的基础性问题，可以广泛应用于评价图像处理算法的性能，指导处理算法的设计。比如IQA可以被用在图像超分辨率重建任务中，帮助生成高精度、高质量、高分辨率的清晰图像本文旨在对近年来出现的各种无参考图像质量评估方法进行综述。首先介绍图像主观、客观质量评价方法，然后着重介绍无参考质量评价中的一些代表性工作，以及IQA领域常用的数据集和评价指标。之后对一些常见的无参考评价方法进行性能比较。最后再给出结论和展望。1 IQA方法分类IQA根据打分方式可以分为主观质量评价方法和客观质量评价方法两种1.1 主观质量评价主观IQA法通过观察者的主观打分来判断图像质量这种打分方式由于综合了多个评价人员的意见，所以可以直接反映人的主观感受，是最为准确、可靠的质量评价方法。主观质量评分法又可以分为绝对评价和相对评价两类。绝对主观评价是在无标准的参考情况下将图像按照视觉感受分级进行评分，评价人员除了直接观察，还需要借助自身的经验给出图像失真程度的判断。相对主观评价方法则增加了标准图像的参考，评价人员在此基础上再进行分级和判断好坏，最后给出相应的图像质量评分结果。国际电信联盟主观IQA方法的优点是可以真实地反映人的主观视觉感受，评价结果直接、准确、可靠。但是该方法通常受观测环境和实验人员数量等客观因素影响，存在很多的局限性，比如存在操作难度大、实现起来比较困难等问题，无法满足实际应用需求。1.2 客观质量评价客观IQA方法是根据人眼的视觉系统建立数学模型，对待测图像进行打分的一种评价方式。这种方法成本低，具有可批量处理，结果可重现等优点，更容易被应用于多种场景中。根据对参考图像的依赖程度，客观质量评价方法可分为三类，即:全参考、半参考和无参考评价方法。1.2.1 全参考评价全参考评价利用全部原始图像的信息，通过计算待评价图像与原始图像之间的偏差来进行质量评估。早期最具代表性的方法是均方差(Mean Square Error,MSE)和峰值信噪比(Peak Signal Noise Ratio,PSNR)式中，MSE为均方差;L为图像量化的灰度级数。MSE和PSNR计算形式上易于理解，物理含义清晰，但是这种方法并没有考虑人类视觉系统对失真差异的感知能力，只从数学方面进行了失真图像和原图之间的距离度量。这种方法往往会出现主客观评价结果不一致的问题，无法准确反映出用户观看视频的主观体验基于此，学者们开展了基于人眼视觉特性的客观IQA方法的研究，并成为现阶段IQA的研究热点。2004年，Wang等还有一些方法是基于人眼视觉系统(Human Visual System,HVS)的特性进行建模1.2.2 半参考评价半参考评价方法与全参考评价方法不同的地方在于，半参考评价方法只比较参考图像和失真图像之间的部分信息。Soundararajan等目前全参考和半参考评价方法的准确性越来越高，但其缺点是都需要提供原始的参考图像，这在实际应用中通常很难获得，因此这两种评价方法的应用范围受到了极大的限制。1.2.3 无参考评价图像的无参考评价(No-Reference Image Quality Assessment,NR-IQA)，是目前图像客观质量评价的研究难点和热点问题。这种评价方法无需任何原始参考图像信息，仅利用图像自身的特征进行质量评估，因此非常灵活，可以广泛应用于各种场景。早期的NR-IQA方法更多面向特定类型的失真评价任务。这类方法利用图像的统计信息可以对已知失真类型的图像进行质量评价，但是当面临评价未知失真类型的图像质量时就会受到局限下面对近年来面向非特定失真类型的NR-IQA的研究进展进行综述。2 无参考图像质量评价研究进展根据所采用的框架，NR-IQA方法可以分为两类，如图1所示。第一类采用“特征提取+回归/拟合”的框架，首先提取图像的特征，然后采用机器学习的