生成模型---流模型Flow-basedModel.pdf

资料来源： 生成模型流模型（Flow-based Model） 目 录 前言2 1. Flow-based Model 的建模思维3 2. Flow-based Model 的理论推导架构设计7 3. 致谢及引用 11 资料来源： 前言 · Flow-based 模型的不同之处 从去年GLOW 提出之后，我就一直对基于流（flow）的生成模型是如何实现的充满好 奇，但一直没有彻底弄明白，直到最近观看了李宏毅老师的教程之后，很多细节都讲解地 比较清楚，就想好好写篇笔记来梳理一下流模型的运作原理。 首先来简单介绍一下流模型，它是一种比较独特的生成模型——它选择直接直面生成 ( ) ( ) ( ) 模型的概率计算，也就是把分布转换的积分式 （ = ∫ | ）给硬算出来。 要知道现阶段其他较火的生成模型，要么采用优化上界或采用对抗训练的方式去避开概率 计算，从而寻找近似逼近真实分布的方法，但是流模型选择了一条硬路 （主要是通过变换 Jacobian 行列式）来求解，在后文会详细介绍。 流模型有一个非常与众不同的特点是，它的转换通常是可逆的。也就是说，流模型不 仅能找到从A 分布变化到B 分布的网络通路，并且该通路也能让B 变化到A ，简言之流模 型找到的是一条A 、B 分布间的双工通路。当然，这样的可逆性是具有代价的——A 、B 的 数据维度必须是一致的。 A 、B 分布间的转换并不是轻易能做到的，流模型为实现这一点经历了三个步骤：最初 的NICE 实现了从A 分布到高斯分布的可逆求解；后来RealNVP 实现了从A 分布到条件非 高斯分布的可逆求解；而最新的GLOW，实现了从A 分布到B 分布的可逆求解，其中B 分 布可以是与A 分布同样复杂的分布，这意味着给定两堆图片，GLOW 能够实现这两堆图片 间的任意转换。 下面就是流模型学习笔记的正文，尽可能较简明地讲解清楚流模型的运行机制。 —————————————————————————— 资料来源： 1. Flow-based Model 的建模思维 首先来回顾一下生成模型要解决的问题： 如上图所示，给定两组数据z 和x ，其中z 服从已知的简单先验分布π(z) （通常是高斯 分布），x 服从复杂的分布p(x) （即训练数据代表的分布），现在我们想要找到一个变换函数 f ，它能建立一种z 到x 的映射f: z → x ，使得每对于π(z) 中的一个采样点 ′ ，都能在p(x)中 ′ 有一个 （新）样本点 与之对应。 如果这个变换函数能找到的话，那么我们就实现了一个生成模型的构造。因为，p(x)中 的每一个样本点都代表一张具体的图片，如果我们希望机器画出新图片的话，只需要从π(z) 中随机采样一个点，然后通过f: z → x ，得到新样本点x ，也就是对应的生成的具体图片。 所以，接下来的关键在于，这个变换函数 f 如何找呢？我们先来看一个最简单的例子。 如上图所示，假设 z 和 x 都是一维分布，其中 z 满足简单的均匀分布：π (z) = 1 (z ∈ [0, 1]) ，x 也满足简单均匀分布：p(x) = 0.5 (x ∈ [1,3]) 。 那么构建z 与x 之间的变换关系只需要构造一个线性函数即可：x=f(z)=2z+1 。 资料来源： 下面再考虑非均匀分布的更复杂的情况: 如上图所示，π(z)与p(x)都是较为复杂的分布，为了实现二者的转化，我们可以考虑在 很短的间隔