基于生成对抗网络的分级联合图像补全方法.pdf

摘要 摘要 图像补全技术是指根据图像中缺失或损坏区域的上下文信息将图像补全为完整 的图像，并达到真实、自然的补全效果。图像补全技术是低级视觉中的基本问题，目 前已经引起了计算机视觉和图形领域的广泛兴趣。已有的图像补全方法大都基于面积 较小或者位于图像中心的缺失区域，当缺失区域面积较大或者位于图像边缘位置时， 补全结果便会产生空白、失真及伪彩色等现象。 论文在已有方法的基础上提出了一种基于生成对抗网络的分级联合图像补全方 法，即采用生成对抗的方式，对大面积和位于图像边缘位置的缺失区域进行分级联合 补全。首先以补全网络的生成图像和原始完整图像之间的均方误差损失为目标函数， 通过补全网络进行反复迭代，得到初步补全的图像；然后固定补全网络，将初步补全 的图像划分为图像的全部区域、以补全区域为中心的区域和补全区域的中心区域三部 分，并分别输入到对应的判别网络中进行反向传播训练；最后将补全网络和判别网络 一起迭代训练。此外，还针对原始生成对抗网络训练的不稳定问题对网络结构做出了 改进。该方法的优势在于：一方面，通过将图像进行分区，保证了补全结果的全局、 局部一致性及生成的纹理信息的真实性；另一方面，通过添加局部判别网络并对原始 网络结构进行调整，克服了原始生成对抗网络中训练不稳定的问题，从而克服了当缺 失区域面积较大或者位于图像边缘位置时伪彩色的生成等问题。 实验结果表明，本文提出的方法在补全具有大面积或者位于图像边缘位置的缺失 区域时具有较好的结果，补全的结果更加真实、自然。 关键词：分级联合，图像补全，生成对抗网络，大面积，边缘位置 I 目录 目录 摘要I ABSTRACT II 1 绪论 1 1.1 研究背景与意义 1 1.2 本文研究工作 1 1.3 论文组织结构2 2 相关工作及国内外研究进展 3 2.1 图像补全技术方法综述 3 2.1.1 基于数据驱动的图像补全方法4 2.1.2 基于纹理合成的图像补全方法 5 2.1.3 基于深度学习的图像补全方法 6 2.2 生成对抗网络及其变体模型 8 2.2.1 GAN 的基本模型理论 8 2.2.2 GAN 的学习方法9 2.2.3 GAN 的优缺点 10 2.2.4 条件生成对抗网络 11 2.2.5 深度卷积生成对抗网络 12 2.2.6 Wasserstein 生成对抗网络 13 2.2.7 信息生成对抗网络 14 2.2.8 生成对抗网络及其变体性能的比较 15 2.3 基于生成对抗网络的图像补全方法 15 2.4 本章小结 17 3 基于生成对抗网络的分级联合图像补全方法 18 3.1 算法基本思想 18 3.2 分级联合图像补全 18 3.3 网络结构21 3.3.1 补全网络22 3.3.2 判别网络23 3.4 本章小结23 4 实验及结果分析24 4.1 系统环境搭建24 4.1.1 Tensorflow 系统24 4.1.2 Tensorflow 编译及安装24 4.1.3 实验环境24 4.2 实验数据25 4.3 实验策略26 4.4 实验结果展示及分析27 4.4.1 实验结果展示27 III