扩散模型自引导可控图像生成技术.pdfVIP

扩散自图像生成

1,21211,21

艾伦·贾布里本·普尔阿列克谢·A·埃夫罗斯亚历山大·霍林斯基加州

2

大学伯克利分校谷歌

大规模生成模型能够根据详细文本描述生成高质量图像。然而，图像的许

多方面难以或无法通过文本传达。我们提出自方法，通过扩散模

型的表征来实现对生成图像的更强控制。研究表明，物体的形状、位

置和外观等属性可从这些表征中提取，并用于采样过程。自机制

与分类器类似，但利用预训练模型自身的信号，无需额外模型或

训练。我们展示如何组合简单属性集来实现复杂图像操控，例如调整特定

物置/大小、将某图像物体的外观与另一图像的布局融合、将多张图像

的物体组合至单张图像等。该方法亦可应用于图像编辑。详见项目页

查看结果与交互演示：

1

引言