基于潜在扩散模型的图像生成研究综述.docVIP

基于潜在扩散模型的图像生成研究综述

一、潜在扩散模型的核心原理与理论基础

潜在扩散模型（LatentDiffusionModel,LDM）的核心思想源于概率扩散过程与变分推断的融合，其通过在低维潜在空间中迭代执行噪声添加与去除操作，实现高效、高质量的图像生成。与传统扩散模型直接在像素空间处理高维图像数据不同，LDM引入预训练的编码器-解码器架构，首先将原始图像压缩至维度更低的潜在特征空间，在该空间内完成扩散建模后，再通过解码器将生成的潜在特征映射回像素空间，显著降低了计算资源消耗与训练推理时间开销。

在扩散的正向过程中，模型按照固定的噪声调度策略向潜在特征中逐步添加高斯噪声，经过T次迭代后，原始图像的语义信息被完全破坏，最终得到符合标准高斯分布的噪声张量。这一过程的数学表达为：$$q(x_t|x_{t-1})=\mathcal{N}(x_t;\sqrt{1-\beta_t}x_{t-1},\beta_tI)$$其中$\beta_t$为第t步的噪声系数，随着t增大单调递增，$x_t$为第t步添加噪声后的潜在特征。反向过程则通过训练一个参数化的UNet网络，学习从$x_t$中预测$x_{t-1}$的分布，逐步去除噪声还原出清晰的潜在特征。为了提升模型对生成内容的可控性，LDM引入了条件嵌入机制，可将文本描述、语义掩码、深度图等条件信息通过交叉注意力层融入UNet的编