深度学习-生成对抗网络GAN.pptxVIP

; ? 生成与判别 ? 生成模型:贝叶斯、 HMM到深度生成模型 ? GAN对抗生成神经网络 ? DCGAN ? ConditionalGAN ? InfoGan ? WassersteinGAN; 生成对抗网络家谱; ? 非监督学习：训练集没有标注，学习的结果是数据的隐 含规律，表现形式可以使数据按相似性分组、数据的分 布、数据分量间的关联规则， 最主要的是探讨非监督学 习中的聚类问题。 ? GAN 是Ian Goodfellow在2014年的经典之作，在许多地 方作为非监督深度学习的代表作给予推广。 GAN解决了 非监督学习中的著名问题：给定一批样本， 训练一个系 统，能够生成(generate)类似的新样本。;; ? 根据训练集估计样本分布p(x)，之后对p(x)进行采样， 可以生成“和训练集类似”的新样本。 ? 对于低维样本，可以使用简单的，只有少量参数的概 率模型（例如高斯）拟合p(x)，但高维样本（例如图像; AutoEncoder（1）; AutoEncoder（2）; AutoEncoder（3） – 文本检索; AutoEncoder（4） – 相似图形检索; AutoEncoder（5） – 噪声去除; 图像的反卷积deconvolution; Encoder-Decoder; 变分自编码器VAE; VAE的目标函数; VAE存在的问题;; GAN基本原理; 生成器与鉴别器; GAN训练过程;; GAN - Discriminator; Generator + Discriminator = a network Using gradient descent to update the parameters in the generator, but fix the discriminator; 生成式对抗网络--如何定义损失; 这个Loss其实就是交叉熵。对于判别器D，它的任务是最小化 -L(G,D) ，即 L(G,D)=-EglogD()-Eglogl-D() 如果采用零和博弈，生成器G的目标是最小化L(G,D)，而实际操作发现零和 博弈训练效果并不好， G的目标一般采用最小化 -E-glogD(G(2) 或 -EgIog(1-D(G(z) 一般来说，更新D是， G是固定的；更新G时， D是固定的。;; 分布 ，此时D(X)=1/2; GAN的收敛性 如果G和D的学习能力足够强 ，两个模型可以收敛。 但是GAN模型的收敛性和均衡点存在性需要新的理论突破 ，模型结构和训练稳定性需要进一步提高。 GAN的收敛是很困难的。第一 ，就是梯度消失的问题 ， 当优化的时候 ， 对于公式里生成器、 判别器的损失函数会存在梯度消失的问题 ， 那么我们需要设计一些更好的损失函数 ， 使得梯度消失问题得到解决。第二个就是模式发现问题 ，也就是说我们的生成器可能生成同样 的数据而不是多样的数据。; ? 在原始GAN的（近似）最优判别器下， 第一种生成器 loss面临梯度消失问题，第二种生成器loss面临梯度不 稳定、对多样性与准确性惩罚不平衡导致缺乏多样性 的问题。 ? 原始GAN问题的根源可以归结为两点， 一是等价优化的 距离衡量（JS散度、KL散度） 不合理， 二是生成器随机 初始化后的生成分布很难与真实分布有不可忽略的重 叠。 衡量两个分; GAN缺点（2）; GAN模型collapse; 应用： DCGAN; 把有监督学习的CNN与无监督学习的GAN整合到一起提出了Deep Convolutional Generative Adversarial Networks - DCGANs ，是 生成器和判别器分别学到对输入图像层次化的表示。 1.使用DCGANs从大量的无标记数据（图像、语音） 学习到有用的特征 ，相当于利用无标记数据初始化DCGANs的生成器和判别器的参 数 ，在用于有监督场景. 2.表示学习representation learning的工作：尝试理解和可视化GAN是如何工作的. 3.稳定训练DCGANs; T S; Facebook AI Research; ? GAN算法的损失函数使用了JS散度，当生成器和鉴别器的样本分布不重叠时，导致 GAN 的训练出现梯度消失 现象，参数很难更新，网络无法收敛。 ? WGAN使用一种分布距离度量方法：Wasserstein距离， 即推土机Earth-Mover距离解决上述问题。; ? Ⅱ(Pr, Pg) 是 Pr 和 Pg 组合起来的所有可能的联合分布的集合， 反过来说， Ⅱ(Pr, Pg) 中每一个分布的边缘分布都是 Pr 和 Pg。对于每一个可能的联合分 布γ