DIVE：用于主题驱动视频编辑的 DINO 控制.pdfVIP

DIVE：用于主题驱动视频编辑的DINO控制

YiHuangWeiXiongHeZhangChaoqiChen

JianzhuangLiuMingfuYanShifengChen

ShenzhenInstitutesofAdvancedTechnology,ChineseAcademyofSciences,

vivoAILab,NVIDIA,AdobeResearch,ShenzhenUniversity,

SoutheastUniversity,ShenzhenUniversityofAdvancedTechnology

{yi.huang,mf.yan,jz.liu,shifeng.chen}@

wxiongur@,he.zhang92@,cqchen1994@

a“kitten”walkingacrossa“whitecar”drivingdownaroad

本alushgreenfieldofgrasswithwindmillsinthebackground

译SourceSource

中VideoVideo

2TargetTarget

v

7IdentityIdentity

4

3

3

0

.

2

1

4

2

:

v

i

x

r

a

“whitefox”“silverjeep”

图1.由DIVE驱动的主题视频编辑结果。给定一个源视频，DIVE可以准确捕捉主题的运动轨迹，并根据参考图像或文本提示

指定的各种目标身份进行精确编辑。

Abstract对齐仍然具有挑战性。为了解决这些问题，本文提出

了DINO引导的视频编辑（DIVE）框架，旨在根据目

基于扩散模型在图像生成和编辑中的成功，视频编辑标文本提示或带有特定身份的参考图像，在源视频中

最近受到了广泛关注。然而，保持时间一致性及运动实现以主体为导向的编辑。DIVE的核心在于利用预训

项目负责人。通讯作者。练的DINOv2模型提取的强大语义特征作为隐式对应

关系来指导编辑过程。具体而言，为确保时间运动一致并利用这些作为稀疏的视频对应关系来对齐动作轨迹，

性，DIVE使用DINO特征与源视频的运动轨迹对齐。从而解决了这一问题。虽然这种方法可以准确地对齐

对于精确的主体编辑，DIVE将参考图像的DINO特征动作轨迹，但它需要在源视频中准确手动定义这些点，

融入到一个预训练的文本到图像模型中以学习低秩适这是一项劳动密集型的工作。

应（LoRAs），从而有效地注册目标主体的身份。在多样