深度学习与计算机视觉实战-图像生成.pptxVIP

图像生成 1 图像生成算经典法 目录 图像生成简介 2 训练图像生成网络 3 GAN的出现为非监督学习带来了希望，GAN的思想源于博弈论中的“二人零和博弈”问题。 零和博弈又称零和游戏，是博弈论的一个概念，属于非合作博弈，指的是参与博弈的双方收益和损失相加总和永远为“零”，一方的收益等于另一方的损失。 根据零和博弈的思想，可以将生成问题转化为判别器和生成器两者之间的对抗问题。 GNA的原理如下图所示。 图像生成简介 GAN中包含一对相互对抗的网络：判别器D和生成器G。判别器D和生成器G都是非线性映射函数，都通过反向传播算法进行训练。 从一个任意的分布采样出随机噪声z，将z作为生成器G的输入，生成器G通过学习真实数据x的分布输出生成的数据 。 判别器D的目的是正确区分真实数据和生成数据 ，从而最大化判别准确率。 为了在博弈中胜出，二者不断提高各自的判和生成能力，相互对抗更新迭代，直到达到一个纳什均衡; 即判别器D已经无法区分生成器G生成的数据 与真实数据x，对两者的判断输出都是0.5，并且生成器已经学习到真实数据的分布，能够生成几乎真实的数据。 图像生成简介 用公式表示GAN的对抗学习如下所示。 在上式中， 是真实数据的分布, 是从 分布采样的值， 表示任意噪声分布， 是从 分布采样的值，E表示期望值。 在实际训练的过程中，通过迭代的方式交叉优化判别器D和生成器G。 首先固定生成器G并优化判别器D；再固定判别器D优化生成器G。 当判别器对生成数据 与真实数据 的预测值相等时，达到全局最优。 图像生成简介 对于固定的生成器G，判别器D的最优点如下所示。 在式中， 为真值数据预测概率值， 为生成数据预测概率值。给定判别器 ，当且仅 时，生成器G达到最优。 图像生成简介 1 图像生成算经典法 目录 图像生成简介 2 训练图像生成网络 3 GAN经过多年的发展衍生出了许多改进版，本节主要介绍GAN在发展过程中的一些经典变体。 虽然卷积神经网络在监督学习领域的一些任务中得到很好的应用，但在无监督学习领域的效果却并不明显。在监督下的GAN与无监督下的GAN相结合成了深度卷积生成式对抗网络（Deep Convolutional Generative Adversarial Network，DCGAN）。 卷积神经网络模型对传统GAN模型的意义在于为CNN的网络拓扑结构设置了一系列的条件限制来稳定模型的训练。 在图像处理技术当中，一般利用特征对图像种类进行分类，对比分类效果与预期效果，从而检验在训练过程中学习到的图像特征是否是源自卷积过滤的定向分析。 图像生成经典算法 1. 深度卷积生成对抗网络 相较于GAN或者普通CNN，DCGAN的改进包含以下4个方面。 生成器使用卷积和反卷积代替池化层。 在生成器和判别器中添加了批标准化操作。 生成器的输出层使用Tanh激活函数，其他层使用ReLU激活函数。 判别器的所有层都使用LeakyReLU激活函数。 图像生成经典算法 对于其他几种常见的网络模型，原始的GAN在训练中对数据分布并没有具体要求，甚至不需要某种特定数据分布，而是对某种数据分布进行直接采样，通过训练生成器最终生成的伪图像样本达到以假乱真的目的，这也是GAN的最大特点和优势。 原始的GAN不需要建立模型使得训练没有约束，导致模型缺乏针对性，所以在生成像素较高的图像时，模型效果不理想。 为让GAN在训练中具有针对性，并且向着训练目标有方向性的发展，需要在模型的训练中增加一些必要的约束，基于这个想法引出了条件生成对抗网络（Conditional Generative Adversarial Network，CGAN）。 图像生成经典算法 2. 条件生成对抗网络 CGAN是在原始的GAN基础上的拓展，在生成器D和判断器G的建模时都加入一个条件变量y，通过变量y在模型中增加一个条件变量，利用约束数据控制模型的训练，最终引导伪约束数据的产生。 模型中的条件变量并没有某种特定的约束，该条件可以表示任何信息，例如类别信息，又或者其他种类的数据，在不同的场景具有不同的意义。因此CGAN是GAN从无监督到有监督的转变产物。 图像生成经典算法 虽然GAN已经有了很大的进步，但是依然还有着训练不稳定和模型崩溃等问题。 训练困难、生成器和判别器的损失函数无法指示训练进程、生成样本缺乏多样性等问题严重阻碍了GAN的发展。 原始的GAN中判别器的目的是最小化损失函数，如对于固定的生成器G，判别器D的最优点式所示，尽可能把真实样本分为正例，生成样本分为负例，但是存在以下两个问题。 判别器越好，生成器梯度消失越严重。 在生成器的损失函数