第 15 章 智能图像修复处理.pptVIP

设计思想2017年由Waseda大学的学者SATOSHIIIZUKA等人提出一种基于全局和局部一致性控制的图像修补算法，即利用GAN结构进行时在设计判别器时，设计了全局判别器（globaldiscriminator）和局部判别器（localdiscriminator），两种判别器保证生成的图像即符合全局语义3.全局与局部一致性修补算法网络结构网络设计时，结合CNN和GAN的结构网络结构可分为两大部分，补全网络C-Net和上下文判别网络，设计为全局判别器G-Dis网络和局部判别器L-DisC-Net和两个判别器之间有特征交互，即C-Net输出的特征作为G-Dis网络和L-Dis网络的输入特征，解码还原的图像作为GAN的生成器的生成结果，C-Net可以看作是GAN网络的生成器全局与局部一致性修补算法网络结构：补全网络和判别器的关系结构全局与局部一致性修补算法C-Net设计，采用编码解码结构，如图所示全局与局部一致性修补算法网络结构示意图（来自于GloballyandLocallyConsistentImageCompletion，2017年）生成网络使用weightedMeanSquaredError(MSE)作为损失函数下图是基于全局与局部一致性的图像修补算法的实验结果全局与局部一致性修补算法-损失的定义***

主讲教师：全红艳

计算机科学与技术学院*******“”**“”****智能数字图像处理原理与技术第15章智能图像修复处理本次课程内容1.智能图像的修复技术发展3.全局与局部一致性修补算法2.基于上下文编码的算法图像的重建与修复是指对于低质图像的恢复过程，对图像破损、受到信号干扰的降质，以及由于采集设备低质量引起的劣质图像的重构都属于图像的重建。常见的图像损坏包括目标遮挡、文本遮挡、噪声、照片划痕、图像采集带来的高光效应等。如图，是损坏图像的实例。背景损坏图像实例对于图像的修复技术，为了对图像中破损部分进行修补，在传统的研究技术中出现了图像补绘（ImageInpainting）和空洞填充（RegionFilling）等技术。传统修复技术研究中是设法利用替换或者填充手段，按照不同的规则，将周围非破损区域的像素信息填充或者编辑到损坏区，以便达到修补后的外观一致性。近年来，随着人工智能技术的迅猛发展，出现了基于深度学习的图像修复技术,包括基于深度学习的Inpainting技术以及基于深度学的超分辨率复原技术。背景近些年出现了一些由于深度学习的图像补绘技术：2016年，DeepakPathak等提出基于上下文信息感知的图像补绘方法（ContextEncoders:FeatureLearningbyInpainting），采用无监督学习。2017年ChaoYang等提出了基于结合图像内容和纹理进行约束优化的多尺度补绘方法，不仅仅考虑上下文的感知信息，而且根据中间层特征的相似性匹配，取得满意的结果。2018年，GuilinLiu等提出有效算法ImageInpaintingforIrregularHolesUsingPartialConvolutions，可以修补任意形状的破损区域，通过部分卷积和掩膜更新代替卷积层，获得最好的修补结果。1.智能图像的修复技术发展近些年出现补绘技术（续）：2019年，KamyarNazeri提出一种基于二阶段生成对抗网络的边缘补全图像修复方法，借助启发式生成模型得到了缺失部分边缘信息，再将其作为先验，实现图像修复。2020年，ZiyuWan等提出一种模糊、褶皱照片的修复算法，用变分自动编码器，将图像变换到隐藏空间，在隐空间进行图像修复处理。2021，SyedWaqasZamir等人提出基于注意力机制的多阶段图像重建算法，采用编码解码的网络结构，对不同层级特征融合，实现高分辨率的重建。1.智能图像的修复技术发展DeepakPathak等于2016年在CVPR国际会议上提出一种基于上下文信息感知的图像补绘方法ContextEncoders:FeatureLearningbyInpainting。采用监督学习，设计编码和解码结构的CNN，对周围像素的上下文信息进行特征学习，进一步推断缺失像素的色彩信息。2.基于上下文编码的算法采用编码-解码（Encoder-Decoder）网络结构（框架如图），包含GAN结构。GAN的作用是生成修补的图像。在判别器设计时，利用真值标签图像作为判别的依据，当网络生成结果与真值标签图像一致时，停止对网络参数的训练。基于上下文编码的算法网络设计时，