基于扩散模型的动态纹理合成与视频生成中的时空一致性研究综述.docVIP

基于扩散模型的动态纹理合成与视频生成中的时空一致性研究综述

动态纹理是一类具有时空统计规律的视觉信号，既包含火焰、水流、烟雾等自然动态纹理，也涵盖人群流动、交通轨迹、粒子特效等人工动态场景。动态纹理合成与视频生成任务的核心目标是生成视觉真实、时序连贯的动态内容，而时空一致性是决定生成质量的核心指标：它要求生成内容在空间维度上保持物体几何结构、纹理细节的连续性，在时间维度上满足运动轨迹平滑、帧间过渡自然的物理规律。扩散模型凭借强大的分布拟合能力，已成为当前视频生成领域的主流技术框架，但传统图像扩散模型直接扩展到视频任务时，普遍存在帧间闪烁、物体形变、运动逻辑断裂等时空一致性退化问题。近年来，学术界围绕扩散模型的时空一致性优化展开了大量研究，形成了从建模框架、约束机制到推理加速的完整技术体系。

扩散模型的时空建模框架演化

扩散模型的核心思想是通过正向噪声扩散过程破坏训练数据，再学习逆向去噪过程恢复数据分布。将图像扩散模型扩展到视频场景的核心挑战，是如何在建模过程中自然融合时间维度的依赖关系，目前主流的技术路径可分为三类：

时序扩展型2D扩散架构

该路径以成熟的2D图像扩散模型为基础，通过新增时序建模模块实现视频生成，是现阶段最常用的技术方案。2022年提出的VideoDiffusionModels（VDM）首次在U-Net结构中插入时间自注意力层与3D卷积模块，在16帧128×12