基于先验引导的扩散模型生成研究综述.docVIP

基于先验引导的扩散模型生成研究综述

一、扩散模型基础框架与生成局限

扩散模型的核心思想源于非平衡热力学中的扩散过程，通过逐步向数据中添加高斯噪声将原始数据分布映射为标准正态分布，再通过反向降噪过程学习从噪声中恢复原始数据的映射关系。标准扩散模型的正向过程定义为：对于输入数据(x_0\simq(x_0))，逐步添加噪声得到(x_t=\sqrt{\alpha_t}x_{t-1}+\sqrt{1-\alpha_t}\epsilon)，其中(\alpha_t=1-\beta_t)，(\beta_t)为预先设定的噪声schedule。反向过程则通过神经网络拟合(p_\theta(x_{t-1}|x_t))，逐步去除噪声生成最终样本。

尽管扩散模型在图像、音频、文本等多模态生成任务中展现出远超GAN、VAE等传统生成模型的样本质量与多样性，但其固有缺陷也制约了落地应用：其一，采样效率低下，标准扩散模型通常需要数百至上千步迭代才能生成高质量样本，难以满足实时生成场景需求；其二，生成可控性不足，无引导的扩散模型生成结果存在较大随机性，难以精准符合用户对内容、结构、属性的特定要求；其三，常识性错误与模态冲突频发，尤其在跨模态生成任务中，常出现文本描述与视觉元素不匹配、违背物理规律的生成结果；其四，低数据场景下生成质量退化严重，当训练数据稀缺时，模型易出现过拟合、模式崩溃等