稀疏采样下的新视角图像生成.pdfVIP

摘要

新视角生成方法的目标是从给定的单张或多张源图像及对应的相机视角合

成新视角的图像。然而，受成本和硬件等限制，大多数情况下难以实现密集采样，

因此，如何在稀疏采样的条件下生成真实的新视角图像依然是一个具有挑战性的

开放问题。稀疏采样的静态对象新视角生成具有不可见区域多、对象细节丰富等

特点，现有方法难以生成不可见区域的合理结构或者难以生成细致的纹理。同时

稀疏采样的动态场景新视角生成具有动态对象运动快、前后帧差距大等特点，现

有方法难以建模动态对象的快速运动。基于上述问题，本文分别提出面向静态对

象和动态场景的新视角生成方法。本文的工作成果和创新点如下：

1.提出基于解耦表示的静态对象新视角生成方法。该方法将输入图像解耦为

两个神经嵌入表示：结构表示和纹理表示。结构表示通过特征体预测生成图像中

不可见区域的合理结构，纹理表示通过特征流恢复精细的纹理细节。为了自适应

融合稀疏多视角信息，提出分层的空间-视角注意力融合方法，通过回归像素或

体素置信度图自适应地选择重要信息，实现高质量的图像生成。

2.提出基于双流场的动态场景新视角生成方法。该方法面向单目视频的动

态场景，将输入图像中的静态区域和动态区域分别建模为静态和动态神经辐射场

表示。在静态神经辐射场中，引入图像特征作为图像先验，使生成的背景更具细

节。在动态神经辐射场中，除了引入图像特征作为先验外，使用双流场预测动态

区域的时序变化，即3D向量场和2D特征场，从而减少动态对象快速运动产生

的伪影，实现高质量的图像生成。

在多种数据集上的大量对比实验证明，相比于现有方法，本文提出的基于解

耦表示的静态对象新视角生成方法能够同时生成合理的结构和精细的细节，取得

了接近17%的平均精度提升。本文提出的基于双流场的动态场景新视角生成方

法能够减少动态对象快速运动产生的伪影，取得了54%的平均精度提升。

关键词：稀疏采样，新视角生成，解耦，分层融合，流场

I

ABSTRACT

Givenasingleimageorseveralimagesandthecorrespondingviewpoints,novel

viewsynthesisaimstogenerateanimageofnovelviewpoint.However,duetothelimi-

tationofthecostandhardware,itischallengingtorealizedensesamplinginmostcases.

Therefore,howtogeneraterealimagesofnovelviewwithsparsesamplingisstillan

openingproblem.Novelviewsynthesisofthestaticobjectwithsparsesamplingischar-

acterizedbyplentyofinvisibleareasandobjectswithabundantdetails,whileexisting

methodsaredifficulttogeneratereasonablestructureofinvisibleareasordetailedtex-

tures.Additionally,novelviewsynthesisofthedynamicscenewithsparsesamplingis

characterizedbyfastmotionofdynamicobjectsandlargegapoftwoframes.Tosolve

theseexistingissues,thisthesisproposesanetworkfornovelviewsynthesisofthestatic

objectandthedynamicscene,respectively.Theachievementsandinnovationsofthis

thesisareasfollows:

1.Thisthesisproposesamethodfornovelviewsynthesisofthestaticobje