人工智能算法分析 全套教学课件（共580页PPT）.ppt

CGAN 如何控制GAN，让其生成特定类别的数据呢？CGAN 由此应运而生。通过在GAN上增加一个额外的输入充当条件，即可得到CGAN，其中，C译为Conditional，这项工作提出了一种带条件约束的GAN，其基本思想为在生成模型（G）和判别模型（D）的建模中均引入条件变量y，使用额外信息y 对模型增加条件，以指导数据的生成过程。这些条件变量y可以基于多种信息，如类别标签、用于图像修复的部分数据、来自不同模态的数据。 01 如果条件变量y是类别标签，那么可以将CGAN视为把纯无监督的GAN变成有监督模型的一种改进。 结合 GAN司的目标函数和CGAN的核心思想，我们可以得到CGAN的目标函数 CGAN网络结构如图4.8所示。从图4.8中可以看出，CGAN的网络相对于原始GAN网络并没有本质上的变化，都是由生成器G和判别器D组成的。改变的仅是生成器和判别器的输入数据，即对于生成器的输入，在噪声输入z的基础上加入了条件信息y，对于判别器的输入，在生成的图像x的基础上加入了条件信息y。因此对于CGAN来说，通过加入条件信息，可以使GAN的生成结果在一定程度上变得可控。 如图4.9所示，这是通过使用CGAN生成的Mnist手写数字。与如图4.7所示的生成对抗网络生成的毫无规律的手写数字相比，CGAN通过加入条件信息生成了规范的手写数字。如图4.9所示，从第一行到第九行的标签分别为0～9。因此，我们可以看出，通过在GAN网络中加入条件信息，我们可以很好地控制GAN生成的图像。 DCGAN 虽然原始的GAN能够通过训练生成一些图像，但是生成的图像的质量没有达到研究人员的预期，研究人员通过实验发现，GAN图像的质量问题来自GAN的网络结构设计缺陷，原始GAN的生成器和判别器网络部使用了MLP，即全连接神经网络，但是全连接神经网络的结构比较简单，对于图像生成来说，仍显不足。因此，研究人员基于网络结构优化思路，提出了DCGAN。DCGAN的全称是DeepConvolutional Generative Adversarial Networks，即深度卷积生成对抗网络，由Radford提出。与CGAN不同，DCGAN里面的C是卷积的意思。原始GAN网络使用的是全连接神经网络，而DCGAN将生成器和判别器的网络改为卷积神经网络（ConvolutionalNeural Networks, CNN），但并不是直接将MLP替换为CNN,DCGAN还对卷积神经网络的结构做了一些改变，以提高样本的质量和收敛速度，这也是DCGAN中D的由来，即深度，具体改变如下。 02 取消所有pooling层。G网络中使用微步幅度卷积（Fractionally Strided Convolution)代替pooling层，D网络中使用步幅卷积CStrided Convolution）代替pooling层。 在G网络和D网络中均使用 Batch Normalization，即批归一化 去掉全连接层，使网络变为全卷积网络。 在G网络中使用ReLU作为激活函数，最后一层使用tanh。 在D网络中使用LeakyReLU作为激活函数。 图4.10所示为DCGAN的生成器G的网络结构。 可以看出，生成器G的输入是一个100维的噪声，中间会通过4层卷积层，每通过一层卷积层， 通道数减半，长和宽均扩大一倍，最终产生一个64x64×3大小的图片输出。值得说明的是，DCGAN中采用的是1散步幅度卷积，而不是反卷积，微步幅度卷积与反卷积的差别如图4.11 所示。 图4.11左侧是反卷积，用3×3的卷积核把2×2的矩阵反卷积成4x4 的矩阵；而图4.11右侧是微步幅度卷积，用3x3的卷积核把3×3的矩阵卷积成5×5的矩阵。这两者的差别在于，反卷积是在整个输入矩阵周围添0，而微步幅度卷积会把输入矩阵拆开，在每一个像素点周围添0。 接下来，我们看一下DCGAN的判别器D的网络结构，如图4.12所示。 可将DCGAN的判别器网络架构看成把生成器的结构反过来的结果，因此，在此就不进行过多叙述了。综上所述，我们总结DCGAN 的主要贡献如下。 主要贡献 (1）使用卷积层代替池化层，使用带步长的卷积代替上来样和下来样。 (2）在生成器G和判别器D中，除最后一层外，都使用了Batchnorm层，将特征层的输出批归一化，加速了网络训练，也提升了训练的稳定性。 (3）在判别器中使用LeakyReLU激活涵数，而不是ReLU，防止梯度稀疏，在生成器中仍然采用ReLU，但是在输出层中采用tanh。 (4）使用ADAM优化器进行网络训练。 图4.13所示为DCGAN叶生成的图像。从图4.13中可以看出，相较于原始GAN，经过改 善的DCGAN生成的图像质量更好，而且不同于原始GAN只能生成一些简单结构的图像，D