贝叶斯生成对抗网络TensorFlow实现.pdfVIP

贝叶斯生成对抗网络 TensorFlow 实现 1 导读 今年五月份康奈尔大学的 Andrew Gordon Wilson 和 Permutation Venture 的 Yunus Saatchi 提出了一个贝叶斯生成对抗网络（ Bayesian GAN ），结合贝叶斯和对抗生成网络，提 出了一个实用的贝叶斯公式框架， 用 GAN 来进行无监督学习和半监督式学习。 论文 《Bayesian GAN 》也被 2017 年机器学习顶级会议 NIPS 接受，今天 Andrew Gordon Wilson 在 Twitter 上发布消息开源了这篇论文的 TensorFlow 实现，并且 Google GAN 之父 Ian Goodfellow 转 发这条推文，让我们来看下。 2 摘要 生成式对抗网络（ GANs ）能在不知不觉中学习图像、声音和数据中的丰富分布。这些分布通常 因为具有明确的相似性， 所以很难去建模。 在这篇论文中， 我们提出了一个实用的贝叶斯公式， 通过使用 GAN 来进行无监督学习和半监督式学习。在这一框架之下，使用动态的梯度汉密尔 顿蒙特卡洛（ Hamiltonian Monte Carlo ）来将生成网络和判别网络中的权重最大化。提出的 方法可以非常直接的获得最后的结果，并且在不需要任何标准的干预，比如特征匹配或者 mini-batch discrimination 的情况下，都获得了良好的表现。通过对生成器中的参数部署一个 具有表达性的后验机制。贝叶斯生成式对抗网络能够避免模式碰撞，产生可判断的、多样化的 候选样本，并且提供在既有的一些基准测试上，能够提供最好的半监督学习量化结果，比如， SVHN, CelebA 和 CIFAR-10 ，其效果远远超过 DCGAN, Wasserstein GANs 和 DCGAN 等 等。 TensorFlow 实现的贝叶斯生成对抗网络 Contents 1. 简介 2. python 依赖包 3. 训练参数 4. 使用方法 a. 安装 3 b. 合成数据 c. 例子 : MNIST, CIFAR10, CelebA, SVHN d. 自定义数据 简介 贝叶斯生成对抗网络中我们提出了使用条件后验分布来建模生成器和判别器的权重参数，随后 使用了动态的梯度汉密尔顿蒙特卡洛（ Hamiltonian Monte Carlo ）来将生成网络和判别网络 中的权重最大化。 贝叶斯方法用在生成对抗网络主要有一下几个特性： (1), 能够提供很好的半监 督学习量化结果。 （2), 对效果的影响比较小。 (3), 可以通过估计概率 GAN 的边际相似性； （4 ）， 它不容易遭受模型失效（ mode collapse ）的风险；（ 5 ）一个包含针对数据互补的多生成和判 别模型，可以形成一个概率集成（ ensemble ）。 4 我们展示了在生成器参数上的多模后验。每种参数设定都和不同的数据生成假设相对应。上图 显示了对应两种不同手写风格的参数设定而产生的样本。这个贝叶斯生成对抗网络保留了在参 数上的全概率分布。相反，标准的生成对抗网络使用点估计（类似于单个最大似然估计）来表 示这个全概率分布，这样