《深度学习 》课件 第6章-深度生成网络.pptx

汇报人:100871单击此处添加文本6深度生成网络

目录|CONTENTS深度生成模型简介1基于玻尔兹曼机的方法2基于变分自动编码器的方法3基于生成对抗网络的办法4基于流模型的方法5基于扩散模型的方法6基于自回归网络的方法7大语言模型8

深度生成模型简介1

6.1深度生成模型简介深度生成模型概念使用深度学习生成与训练数据集相似的新数据，结合监督与非监督学习，理解并模拟复杂现象的生成过程。模型特点（1）深度神经网络实现灵活的分布参数化

（2）基于概率论的严格建模主要分类包括玻尔兹曼机、变分自编码器、对抗生成网络、流模型、扩散模型和自回归网络等技术路线。

基于玻尔兹曼机的方法2

6.2基于玻尔兹曼机的方法由于BM算法精确率不高、推理速度较慢，其变体的流行程度已远远超过模型本身。主要变体包括受限玻尔兹曼机（RestrictedBoltzmannMachines，RBM）、深度置信网络（Deepbeliefnetwork，DBN）和深度玻尔兹曼机（DeepBoltzmannmachines，DBM）。它们能够学习高维特征和高阶概率依赖关系，可用于降维、特征提取等方面。玻尔兹曼机变体类型玻尔兹曼机（Boltzmannmachines，BM）是随机神经网络，具有对称连接，在图论上可理解为完全图。类似神经元的状态的值由概率统计法则确定，能量函数驱动概率分布。玻尔兹曼机概念

6.2.1受限玻尔兹曼机（RBM）无向图模型中没有归一化的概率必须除以配分函数进行归一化才能得到有效的概率分布，目前计算配分函数主要以近似估计方法为主。第一类算法是通过引入中间分布直接估计配分函数的值，中间分布的计算需要使用蒙特卡洛马尔科夫链或重要性采样，如退火重要性抽样算法（AIS）。第二类计算配分函数的算法是构造新目标函数替代配分函数，避免直接求解配分函数的过程，包括得分匹配（SM）和噪声对比估计（NCE）。第三类算法是直接估计配分函数关于参数的近似梯度，包括对比散度（CD）、持续对比散度（PCD）和快速持续对比散度（FPCD）三种。RBM的基本结构配分函数估计方法受限玻尔兹曼机由可见层和隐藏层组成，两层神经元状态为0或1，表示激活或未激活。关键公式：（1）能量函数：（2）联合概率分布：（3）条件分布：

6.2.1受限玻尔兹曼机（RBM）配分函数计算方法简介蒙特卡洛马尔科夫链（MCMC）：通过构建一个逐步转移的马尔科夫链来模拟目标概率分布，利用链上的样本点来近似计算复杂问题的解。该方法的关键在于确保马尔科夫链的稳态分布与目标分布一致。重要性采样（如退火重要性抽样算法AIS）：重要性采样是一种统计方法，它通过从一个容易采样的分布（称为重要性分布）中抽取样本，并调整这些样本的权重来估计目标分布的期望值。退火重要性抽样算法在此基础上融入了模拟退火的思想，通过逐步调整重要性分布使其逐渐接近目标分布，从而提高采样效率和解的质量。得分匹配（SM）通过优化概率密度函数的梯度来估计模型参数，避免了直接计算归一化常数。噪声对比估计（NCE）通过训练一个分类器来区分真实数据和噪声样本，以此估计目标分布的参数。对比散度（CD）是一种用于训练受限玻尔兹曼机（RBM）的算法，它通过交替更新隐藏层和可见层的单元来近似数据分布。持续对比散度（PCD）是CD的变种，它使用多个马尔科夫链样本而不是从头开始每次迭代，以提高训练的稳定性。快速持续对比散度（FPCD）进一步优化了PCD，通过在每次迭代中只更新一部分隐藏层单元来加速收敛。

6.2.2深度置信网络（DBN）本质上是RBM目标函数的变分下界。目标函数多个隐藏层的神经元通常只取0和1，可见层单元可取二值或实数。顶部两层间是无向连接，其余为箭头指向可见层的有向连接。模型架构DBN是多隐藏层的有向概率图模型，相邻两层可通过RBM预训练，用于学习复杂的数据分布。使用贪婪学习算法调整模型参数使模型有容易训练的初始值，贪婪逐层预训练算法提供了两种获得和的方法。贪婪逐层预训练算法

基于变分自动编码器的方法3

6.3.1VAE模型的基本原理VAE的目标函数是数据分布和重构的样本分布间距离的最小化，一般用KL散度衡量这两个分布之间的距离，但是由于数据分布是未知的，引入近似分布和近似后验分布。变分下界（ELBO）：目标函数VAE是通过编码-解码过程映射样本至服从高斯分布的隐藏变量，之后由隐藏变量产生样本，并使用KL散度优化目标函数的生成模型，可以学习给定数据的概率分布，并利用这些学到的分布来生成新的数据。编码器输出隐藏变量的概率分布的参数，解码器输出重构数据的概率分布。核心思想

选择相同概率分布族的P(ε)，对P(ε)抽样得到的样本ε进行若干次线性变换就能获得在原始分布抽样的等价结果。由