基于扩散模型的动态视频生成中的运动连贯性与对象持久性约束研究综述.docVIP

基于扩散模型的动态视频生成中的运动连贯性与对象持久性约束研究综述

一、扩散模型动态视频生成的基础架构与运动生成逻辑

扩散模型在视频生成领域的落地遵循“噪声迭代去噪”的核心逻辑，与图像生成的核心差异在于引入了时间维度的依赖建模。当前主流的视频扩散模型架构可分为三类：第一类是时空分离式架构，代表为StableVideoDiffusion（SVD）系列，其在空间维度复用预训练图像扩散模型的U-Net结构，新增时间注意力层建模帧间关联，通过3D卷积捕捉局部运动规律，这类架构训练成本较低，但长视频生成中容易出现帧间运动跳变；第二类是时空联合建模架构，代表为ModelScopeText-to-Video、GoogleImagenVideo，其将3D卷积与时空自注意力模块深度融合，在去噪过程中同时优化空间语义一致性与时间序列相关性，运动生成的平滑度显著提升，但训练资源需求是同参数图像模型的4-6倍；第三类是基于Transformer的时序生成架构，代表为PikaLabs3.0、RunwayGen-3，其将视频帧拆分为时空patch序列，通过因果注意力机制约束时序生成顺序，运动生成的可控性更高，支持复杂镜头运动与多对象交互场景生成。

运动连贯性与对象持久性问题本质上是扩散模型去噪过程中时间维度约束缺失的直接体现。在逐帧去噪的迭代过程中，模型对同一空间位置的语义预测存在时序波动：当某