第7章_生成对抗网络.pptxVIP

深度学习;一个极具挑战的机器学习问题;著名物理学家Richard指出，要想真正理解一样东西，必须能够把它创造出来。令机器理解现实世界，观测现实世界的样本，学习其内在统计规律，并基于此进行推理与创造而实现真正的人工智能，也不失为一个好的办法！;1.生成对抗网络GAN

GAN包含一个生成模型和一个判别模型。生成模型捕捉样本数据的分布，判别模型是一个二分类器，判别输入是真实数据还是生成的样本。这个模型的优化过程是一个“二元极小极大博弈”问题，训练时固定一方，更新另一个模型的参数，交替迭代，使得对方的错误最大化，最终，生成模型能估测出样本数据的分布。

2.变分自编码器

在概率图形模型的框架中对这一问题进行形式化——在概率图形模型中，在数据的对数似然上最大化下限。

3.自回归模型

PixelRNN这样的自回归模型则通过给定的之前的像素对每个单个像素的条件分布建模来训练网络。这类似于将图像的像素插入char-rnn中，但该RNN在图像的水平和垂直方向上同时运行，而不只是字符的1D序列。;;针对上述困难，2014年Goodfellow等人启发自博弈论中的二人零和博弈，开创性地提出了一种新型生成式模型——生成式对抗网络（GenerativeAdversarialNetworks，GAN）。

尽管GAN从提出至今不过几年的时间，但关注和研究热度急速上升，并已从学术界延伸至工业界，Google、OpenAI、Facebook和Twitter等知名人工智能企业纷纷投入大量精力研究和拓展GAN的应用。

目前，生成对抗网络已经从最初的图片生成，被拓展到计算机视觉的各个领域，如图像分割、视频预测、风格迁移等，若干研究工作也已成功将GAN应用在强化学习中。;一个极具挑战的机器学习问题;两位博弈方的利益之和为零或一个常数，即一方有所得，另一方必有所失。GAN模型中的两位博弈方分别由生成式模型G和判别式模型D充当。生成模型捕捉样本数据的分布，判别模型是一个二分类器。;GAN的优势;（3）与PixelRNN相比，生成一个样本的运行时间更小。

GAN每次能产生一个样本，而PixelRNN需要一次产生一个像素来生成样本。与VAE相比，它没有变化的下限。如果鉴别器网络能完美适合，那么这个生成器网络会完美地恢复训练分布。

换句话说，各种对抗式生成网络会渐进一致，而VAE有一定偏置。与深度玻尔兹曼机相比，既没有一个变化的下限，也没有棘手的分区函数。它的样本可以一次性生成，而不是通过反复应用马尔可夫链运算器。;GAN目前存在的主要问题;（3）无需预先建模，模型过于自由不可控

与其他生成式模型相比，GAN这种竞争的方式不再要求一个假设的数据分布，即不需要formulatep(x)，而是使用一种分布直接进行采样，从而真正达到理论上可以完全逼近真实数据，这也是GAN最大的优势。然而，这种不需要预先建模的方法缺点是太过自由了，对于较大的图片，较多的pixel的情形，基于简单GAN的方式就不太可控了。在GAN中，每次学习参数的更新过程，被设为D更新k回，G才更新1回，也是出于类似的考虑。;一个极具挑战的机器学习问题;3.1条件生成式对抗网络;3.2拉普拉斯金字塔生成式对抗网络;图像金字塔方式主要的操作便是下采样和上采样，而优势是每次只考虑样本和生成图像之间的残差的学习效果，某种程度上和ResidualNetwork的思想是一样的。针对残差的逼近和学习，相对更加容易。;生成网络有所不同之处在于，将高层金字塔图像也作为输出，和噪音一起生成低层的图像，相当于一个CGAN。通过上述网络，就可以生成最后的高分辨率的图像，如下图。;LAPGAN主要是利用了拉普拉斯金字塔，和CGAN(条件生成-对抗网络)结合一起，用低分辨率的图片作为条件，生成高分辨率的图像。;3.3深度卷积生成式对抗网络;判别式模型D(x);3.4WassersteinGAN;一个极具挑战的机器学习问题;4.1计算机视觉领域;GAN应用于图像翻译，例如，根据轮廓图像生成照片、根据白天图像生成对应夜景等。将图像翻译拓展使多模态图像翻译，大大增加了生成图像的多样性，如图所示。除了从二维图像到二维图像的翻译外，PrGAN能够以一种完全无监督的训练方式将给定的一系列甚至是一张2D图像翻译为该物体的3D体素形状和深度信息。;用于超分辨率的生成式对抗网络SRGAN，如图。该模型的目标函数由对抗损失函数和内容损失函数共同构成。其中，对抗损失函数通过训练判别器区分真实图片和由生成器进行超分辨重构的图片，从而能够学习自然图片的流形结构，通过峰值