Python图像处理与机器视觉入门 课件 第19章 图像修复.ppt

*******图像处理应用技术李钦深圳信息职业技术学院软件学院科技楼1703D室1295254769@1图像修复图像修复(ImageInpainting)本质就是力求保持图像的本来面目，以保真原则为前提，找出图像降质的原因，描述其物理过程，提出数学模型，根据该模型重建或恢复被退化的图像，是一个典型的逆问题(inverseproblems)。1-1研究领域一、降噪图像降噪（ImageDenoising）是指减少数字图像中噪声的过程，有时候又称为图像去噪。噪声是图像干扰的重要原因。一幅图像在实际应用中可能存在各种各样的噪声,这些噪声可能在传输中产生,也可能在量化等处理中产生。根据噪声和信号的关系可将其分为三种形式:(f(x,y)表示给定原始图像,g(x,y)表示图像信号,n(x,y)表示噪声。)(1)加性噪声,此类噪声与输入图像信号无关,含噪图像可表示为f(x,y)=g(x,y)+n(x,y),信道噪声及光导摄像管的摄像机扫描图像时产生的噪声就属这类噪声;(2)乘性噪声,此类噪声与图像信号有关,含噪图像可表示为f(x,y)=g(x,y)+n(x,y)g(x,y),飞点扫描器扫描图像时的噪声,电视图像中的相干噪声,胶片中的颗粒噪声就属于此类噪声。(3)量化噪声,此类噪声与输入图像信号无关,是量化过程存在量化误差,再反映到接收端而产生。降噪，又称为去噪，是一个经典的图像修复研究方向。其实在第5章时有讲到图像降噪，主要的手段是滤波算法，第6章也有讲到降噪的相关实现，主要是非线性变换算法。1-1研究领域二、去模糊(deblurring)图像去模糊方法主要包含盲去模糊(blinddeblurring)和非盲去模糊(non-blinddeblurring)，区别在于模糊核是否已知。传统的图像去模糊算法利用了多种先验，如：全变差(totalvariation)、重尾梯度先验(heavy-tailedgradientprior)等。随着深度学习技术的迅猛发展，也提出了基于CNN、基于GAN和基于RNN的用于图像去模糊的方法，比较著名的如DeblurGAN和DeblurGAN-v2等，而这些方法都专注于从模糊图像中恢复清晰图像本身，而忽略了图像模糊这个源头，因此并没有对图像模糊过程进行建模；同时由于数据集的稀缺，很多方法都采用了数据增强的方式来增加数据样本，但是大多数情况下合成的模糊图像与真实图像相差甚远。1-1研究领域三、去雾(dehazing)光在雾、霾等介质中传播时，由于粒子的散射作用导致成像传感器采集的图像信息严重降质，在很大程度上限制了图像的应用价值。图像去雾（ImageDehazing）的目的是消除雾霾环境对图像质量的影响，增加图像的可视度，是图像处理和计算机视觉领域共同关切的前沿课题，吸引了国内外研究人员的广泛关注。传统的去雾方法主要是基于先验知识的，主要有暗通道先验（DarkChannelPrior，DCP）方法、最大对比度（MaximumContrast，MC）方法，颜色衰减先验（ColorAttenuationPrior，CAP）方法，色度不一致方法。由于神经网络在检测，识别等任务上的取得了很大的进展，所以研究人员开始尝试用基于深度学习的方法取代传统的图像去雾方法。其方法主要可以分为两种，一种是基于大气退化模型，利用神经网络对模型中的参数进行估计，早期的方法大多数是基于这种思想的；另一种是利用输入的有雾图像，直接输出得到去雾后的图像。目前最新的去雾方法更倾向于后者。1-1研究领域四、超分辨率图像超分辨率（ImageSuperResolution）是指由一幅低分辨率图像或图像序列恢复出高分辨率图像。图像超分辨率技术分为超分辨率复原和超分辨率重建。目前，图像超分辨率研究可分为3个主要范畴：基于插值、基于重建和基于学习的方法。1-2基于深度学习的图像修复基于深度学习的图像修复技术旨在恢复残缺图像中损坏部分的像素特征，在许多计算机视觉应用领域中发挥关键作用，是当前深度学习领域的一大研究热点。根据修复网络结构进行分类，分为基于卷积自编码网络结构的图像修复方法、基于生成式对抗网络结构的图像修复方法和基于循环神经网络的图像修复方法。*******