深度学习与信号处理： 原理与实践 课件 第7章 生成生成对抗网络.ppt

************************************************7.3小波生成对抗网络7.3.3高频小波生成对抗网络网络3.网络训练架构两个网络的训练架构如下：输入：初始化判别器和生成器网络参数、，全图像（无遮挡）数据data。输出：判别器D和生成器G。步骤1：从全图像数据data中采样作为一个批量；遮挡下半图像，得到经过生成器G得到补全后的全图像数据，其中。将全图像数据和补全后的全图像数据通过判别器更新判别器D的网络参数。步骤2：从全图像数据data中采样作为一个批量；遮挡下半图像，得到，经过生成器G得到补全后的全图数据，再经过判别器D，更新生成器G的网络参数。*7.3小波生成对抗网络7.3.3高频小波生成对抗网络网络4.评价指标图像补全的通用指标衡量模型生成图像的质量，包括结构相似性指数(SSIM)、峰值信噪比(PSNR)和平均绝对误差(MAE)。假设像素间相互独立性，结构相似性指数定义为式中，和分别表示真实图像和补全图像的的均值;和分别表示和的标准差；和分别表示和的方差；表示和的协方差；和是常数。C、W、H分别为图像的通道数、宽和高，峰值信噪比由均方误差(MSE)进行定义为*7.3小波生成对抗网络7.3.3高频小波生成对抗网络网络4.评价指标同时，真实图像和补全图像的平均绝对误差定义为准确率和召回率分别定义为式中，TP表示正确判断为真；FP表示错误的判断为真；TN表示正确判断为假；FN表示错误的判断为假；AllSamples表示样本数量。*7.4多尺度生成多抗网络恢复退化图像工作原理7.4.1湍流退化图像在训练过程中，将湍流退化图像作为生成器G的输入，并将生成图像与训练数据中的清晰图像共同作为判别器D的输入。判别器与生成器采取单独交替训练的训练方式，通过误差回传更新网络参数，直至设定的迭代次数。湍流退化过程的数学模型式中，为需要复原的清晰图像，为成像设备获取的湍流退化图像；为图像中像素的空间位置；H为传感器光学模糊算子；为湍流畸变算子，包含局部形变和空间模糊；为加性噪声。由于湍流畸变算子同时包含模糊和形变两种模糊核，使用卷积神经网络提取像素特征时，需要设计足够大的感受野来覆盖像素区域，对提取的特征进行动态权重调节有助于模型关注重要信息。*7.4多尺度生成多抗网络1.多尺度GAN结构7.4.2多尺度GAN结构针对湍流图像复原任务需要同时去除几何畸变和模糊，采用多尺度生成对抗网络模型，如上图所示。生成器是一个对称的U-Net网络结构，判别器采用PatchGAN结构，由4个卷积核大小为4×4的卷积层构成。多尺度网络模型表现为：(1)在图像特征提取上，多尺度注意力特征提取单元使用不同大小的卷积核在更大的感受野范围内提取多尺度特征信息；(2)在模型结构上，多层次特征融合单元对不同比例的特征图进行权重调节的动态融合，挖掘不同级别的语义信息。*7.4多尺度生成多抗网络生成器网络结构7.4.2多尺度GAN结构如右上图所示。U-Net网络全卷积部分由预训练卷积模块和多尺度注意力特征提取单元组成，预训练卷积模块使用Inception-ResNet-v2网络中的卷积层与最大池化层，多尺度注意力特征提取单元提供多尺度特征信息并使用特征注意来挖掘通道的相关性。上采样部分由卷积层与上采样层组成，插入多比例特征动态融合单元将不同比例的特征图上采样到相同的输入大小，并动态调节权重连接成一个张量，加强不同尺度特征图的信息共享。在U-Net网络执行编码解码过程中会损失图像的细节特征，增加跳跃连接作为分层语义指导，将具有更多局部信息的浅层网络与对应的深层网络结合起来，更加充分的利用高层特征的语义信息和底层特征的细粒度特征，提升重建图像的视觉细节特征。生成器引入了一个直接从输入到输出跳跃连接，促使模型重点学习残差。*7.4多尺度生成多抗网络2.多尺度注意力特征提取单元7.4.2多尺度GAN结构如右上图所示的多尺度注意力特征提取单元由多分支卷积层和注意力层连接而成。多分支卷积层对应不同尺寸的感受野，