生成模型---流模型（Flow-based Model）.pdf

资料来源：

生成模型流模型（Flow-basedModel）

目录

前言2

1.Flow-basedModel的建模思维3

2.Flow-basedModel的理论推导&架构设计7

3.致谢及引用11

资料来源：

前言

·Flow-based模型的不同之处

从去年GLOW提出之后，我就一直对基于流（flow）的生成模型是如何实现的充满好

奇，但一直没有彻底弄明白，直到最近观看了李宏毅老师的教程之后，很多细节都讲解地

比较清楚，就想好好写篇笔记来梳理一下流模型的运作原理。

首先来简单介绍一下流模型，它是一种比较独特的生成模型——它选择直接直面生成

()()()

模型的概率计算，也就是把分布转换的积分式（=∫|）给硬算出来。

要知道现阶段其他较火的生成模型，要么采用优化上界或采用对抗训练的方式去避开概率

计算，从而寻找近似逼近真实分布的方法，但是流模型选择了一条硬路（主要是通过变换

Jacobian行列式）来求解，在后文会详细介绍。

流模型有一个非常与众不同的特点是，它的转换通常是可逆的。也就是说，流模型不

仅能找到从A分布变化到B分布的网络通路，并且该通路也能让B变化到A，简言之流模

型找到的是一条A、B分布间的双工通路。当然，这样的可逆性是具有代价的——A、B的

数据维度必须是一致的。

A、B分布间的转换并不是轻易能做到的，流模型为实现这一点经历了三个步骤：最初

的NICE实现了从A分布到高斯分布的可逆求解；后来RealNVP实现了从A分布到条件非

高斯分布的可逆求解；而最新的GLOW，实现了从A分布到B分布的可逆求解，其中B分

布可以是与A分布同样复杂的分布，这意味着给定两堆图片，GLOW能够实现这两堆图片

间的任意转换。

下面就是流模型学习笔记的正文，尽可能较简明地讲解清楚流模型的运行机制。

——————————————————————————

资料来源：

1.Flow-basedModel的建模思维

首先来回顾一下生成模型要解决的问题：

如上图所示，给定两组数据z和x，其中z服从已知的简单先验分布π(z)（通常是高斯

分布），x服从复杂的分布p(x)（即训练数据代表的分布），现在我们想要找到一个变换函数

f，它能建立一种z到x的映射f:z→x，使得每对于π(z)中的一个采样点′，都能在p(x)中

′

有一个（新）样本点与之对应。

如果这个变换函数能找到的话，那么我们就实现了一个生成模型的构造。因为，p(x)中

的每一个样本点都代表一张具体的图片，如果我们希望机器画出新图片的话，只需要从π(z)

中随机采样一个点，然后通过f:z→x，得到新样本点x，也就是对应的生成的具体图片。

所以，接下来的关键在于，这个变换函数f如何找呢？我们先来看一个最简单的例子。

如上图所示，假设z和x都是一维分布，其中z满足简单的均匀分布：π(z)=1(z∈

[0,1])，x也满足简单均匀分布：p(x)=0.5(x∈[1,3])。

那么构建z与x之间的变换关系只需要构造一个线性函数即可：x=f(z)=2z+1。

资料来源：

下面再考虑非均匀分布的更复杂的情况:

如上图所示，π(z)与p(x)都是较为复杂的分布，为了实现二者的转化，我们可以考虑在

很短的间