基于多尺度神经网络的小区域图像修复.pdfVIP

摘 要 近十年来，计算机视觉在图像分类、目标检测、图像分割等图像处理任务上 取得了巨大的进步，深度网络的性能在这些任务中有了很大的提升，为新的图像 处理任务奠定了基础。尽管基于生成对抗网络（Generative Adversarial Network ， GAN ）的图像修复方法近年来在准确性和速度上取得了突破，但是由于内存硬 件条件限制和 GAN 网络训练不平衡，对于高分辨率图像，修复的区域会显得模 糊，存在清晰的边界线，难以修复高频细节。其次，研究发现，这些基于卷积神 经网络的图像修复方法经常生成的边界伪影、变形结构和不清晰的纹理，除了是 网络模型本身的影响，还可能是由于卷积神经网络无法将远距离的图像信息和图 像补孔之间的长期相关性进行建模引起的。同时，图像修复在实际生活中的应用 也十分广泛，例如删除图像中不必要的行人并获得背景恢复的真实感的问题。这 个问题很有挑战性，因为缺少真实的输出样本去定义重构损失。 为解决上述问题。本文基于生成对抗网络，进行如下图像修复的研究： 1）基于多尺度神经网络的高分辨率图像修复：为了修复高频细节，该网络 包含内容重构网络和纹理细节恢复网络。内容重构网络使用 VGG-16 对输入图 像进行多尺度特征提取，并利用四组不同速率的空洞卷积提取多尺度感受野的图 像特征，然后根据提取的特征重构输入图像。纹理细节恢复网络在 SRGAN （Super-Resolution Generative Adversarial Network，SRGAN）网络的基础上加入 了空洞卷积，并使用跳跃连接融合多尺度特征，进一步恢复更精细的纹理细节， 该方法能够有效的解决结构扭曲和纹理模糊问题，提高图像修复质量。 2）面向小区域图像修复的行人去除：针对滤除破坏图像美感的占据较小背 景区域的多余行人的问题，文章融合已有的实例分割、图像修复的研究成果搭建 行人去除网络框架。并构建掩码数据集解决，训练过程中缺少真实的输出样本去 定义重构损失的问题。提出的网络框架可以轻松的筛选出背景中的一个或多个行 人，并将其去除。 3 ）具有语境注意的图像修复算法：针对现有语境注意层忽略了生成的图像 块之间的相关性，可能会导致最终结果缺乏延展性和连续性的缺陷。文章基于具 有新颖的图像语境注意层的统一前馈生成网络进行了改进。通过改变语境注意 层的传输机制加强了生成的图像块之间的相关性。并在语境注意层的输出端通过 四组不同速率的空洞卷积进行多尺度感受野的特征聚合，这四组不同速率的空洞 卷积保证了最终重建特征的结构与环境的一致性。改进的基于语境注意的图像修 复网络模型能够加强识别周围环境的图像结构的能力，能够自适应地借用周围环 境的信息来帮助注意图的合成和生成。 关键词：图像修复；生成对抗网络；多尺度神经网络；语境注意 I Abstract In recent ten years, computer vision has made great progress in image processing tasks such as image classification, target detection and image segmentation, and the performance of deep network has been greatly improved in these tasks, laying a foundation for new image processing tasks. Although the generated against Network based (Generative Adversarial Network, GAN) image restoration method in recent years have made a breakthrough in the accuracy and speed, b