Text2Stereo: 利用一致性奖励将稳定扩散重新用于立体生成-计算机科学-机器学习-扩散模型-立体图像生成.pdf

Text2Stereo:利用一致性奖励将稳定扩散重新用于立体生成

1121

AakashGargLibingZengAndriiTsarovNimaKhademiKalantari

12

TexasAMUniversity,LeiaInc.

{aakash.garg80,libingzeng,nimak}@,andrii.tsarov@

Thereisarowboattiedtoadockonamistylake.StereoDiffusion3DPhotography

本

译LeftRight

中图1.给定一个输入文本提示，我们的方法合成了一对左、右图像。我们使用生成的左侧图像作为StereoDiffusion[46]和3D

Photography[39]的输入来生成右侧图像。StereoDiffusion和3DPhotography都使用基于深度的扭曲将内容从输入转移到新

2

v视图。因此，它们往往难以创建具有连续变化深度的对象的适当视差效果，如青色箭头所示。此外，由于StereoDiffusion在潜

7在空间中执行深度扭曲，这种扭曲通常不是像素完美的，导致令人反感的伪影，如黄色箭头所示。最后，3DPhotography经常

6

3难以重建被遮挡的区域（见黄色箭头）。然而，我们的方法能够生成一致、高质量且基线宽广的立体图像。

5

0Abstract扩散模型生成单个图像，然后应用单一图像视图合成

.

6方法[17,33,39,41,44,49]来重建另一个视角。然而，

0在本文中，我们提出了一种基于扩散的新方法，用于根其中大多数技术[17,33,39,49]通过使用单目深度和

5

2据文本提示生成立体图像。由于具有大基线的立体图填充被遮挡区域来扭曲输入图像以生成新视图。虽然

:

v像数据集非常稀缺，从零开始训练一个扩散模型是不这些方法在基线较小时能产生合理的结果，但它们对

i

x可行的。因此，我们建议利用稳定扩散学习到的强大先于较大的基线——本文的重点——往往会产生令人反

r

a验，并在其上进行微调以适应立体图像生成任务。为了感的伪影。具体来说，基于深度的扭曲经常会对具有连

提高立体一致性和文本到图像的一致性，我们进一步续变化深度的对象产生错误的视差效果（见图1）。此

使用提示对齐和我们提出的立体一致性奖励函数来调外，这些方法通常以一种看似合理但实际上不准确的

整模型。综合实验表明，我们的方法在各种场景下生成方式重建被遮挡区域。

高质量的立体图像方面优于现有方法。

最近，王等人[46]通过使用预训练的稳定扩散模

型解决了立体图像生成的问题。具体来说，他们遵循之

前提到的方法的流程，在扩散模型的潜在空间中通过

1.介绍

基于深度的变形来重建立体图像。因此，他们继承了单

随着VR头显（如MetaQuest）和光场显示器（