第13章深度生成模型.PDFVIP

第13 章 深度生成模型 我不能创造的东西，我就不了解。 — 理查德·菲利普·费曼 概率生成模型，简称生成模型 （Generative Model ），是概率统计和机器学 习中的一类重要模型，指一系列用于随机生成可观测数据的模型。假设在一个 连续的或离散的高维空间 中，存在一个随机向量X 服从一个未知的数据分布 (x) x 。生成模型是根据一些可观测的样本x(1) x(2) x( ) 来学习一 个参数化的模型 (x) 来近似未知分布 ( )，并可以用这个模型来生成一些样 本，使得“生成”的样本和“真实”的样本尽可能地相似。 生成模型的应用十分广泛，可以用来不同的数据进行建模，比如图像、文 本、声音等。比如图像生成，我们将图像表示为一个随机向量X ，其中每一维 都表示一个像素值。假设自然场景的图像都服从一个未知的分布 (x)，希望通 过一些观测样本来估计其分布。高维随机向量一般比较难以直接建模，需要通 过一些条件独立性来简化模型。但是，自然图像中不同像素之间的存在复杂的 依赖关系（比如相邻像素的颜色一般是相似的），很难用一个明确的图模型来描 述其依赖关系，因此直接建模 (x) 比较困难。 深度生成模型就是利用深层神经网络可以近似任意函数的能力来建模一个 复杂的分布 (x)。假设一个随机向量Z 服从一个简单的分布 (z) z （比 如标准正态分布），我们使用一个深层神经网络 : ，并使得 (z) 服从 (x)。 本章介绍两种深度生成模型：变分自动编码器[Kingma and Welling, 2013, Rezende et al., 2014] 和对抗生成式网络[Goodfellow et al., 2014] 。 278 2018 年6 月29 日 第13 章 深度生成模型 z y x x (a) 带隐变量的生成模型 (b) 带类别的生成模型 图13.1 生成模型 13.1 概率生成模型 生成模型一般具有两个基本功能：密度估计和生成样本。 13.1.1 密度估计 给定一组数据 = x() 1 ，假设它们都是从独立地从相同的概 率密度函数为(x) 的未知分布中产生的。密度估计（density estimation ）是 根据数据集 来估计其概率密度函数 (x)。 密度估计参见第9.2节。 在机器学习中，密度估计是一种非常典型的无监督学习问题。如果要建模 的分布包含隐变量（如图13.1a），比如高斯混合模型，就需要利用EM 算法来进 EM 算 法 参 见 行密度估计。 第节。 应用于监督学习 生成模型也可以应用于监督学习。监督学习的目标是建模输出标签的条件 概率密度函数 ( x)。根据贝叶斯公式， (x ) ∑ ( x) = (13.1) (x ) 我们可以将监督学