基于多目立体视觉的泛化性视图合成研究.pdfVIP

摘要

摘要

视图合成研究的是如何根据场景中已知视角下的图像预测未知新视角下的图

像。近期的研究工作结合多目立体视觉和神经辐射场，实现了跨场景的泛化性视

图合成算法，但仍然存在一些不足。一方面是构建辐射场时需要在整条查询光线

上进行密集采样，导致渲染效率低下；另一方面是没有充分利用几何特征，不易

处理具有复杂几何结构的场景。

为了解决上述问题，本文提出了一种深度辅助的泛化性神经辐射场算法。具

体上，本文设计了一种双分支网络同时从RGB图像和深度图中提取图像先验和几

何先验，并采用基于注意力机制的网络促进多模态特征融合。随后基于深度图构

建重投影点云，并通过点云渲染算法生成新视角下的深度图和特征图。基于点云

渲染深度，本文提出了一种重要性采样策略，以解决体渲染中密集采样引起的低

效问题。本文还设计了一种跨视角Transformer网络，以在体渲染阶段对不同视角

下的特征进行有效的全局感知。实验结果表明，本文提出的方法有效提高了渲染

质量，并改善了渲染效率。

在进一步的研究中，本文集成了蒙特卡洛去噪技术和视图合成技术，构建了

一套面向虚拟场景的渲染框架。本文提出了一种级联式像素及核去噪网络对低采

样率的渲染噪声图像进行去噪。该方法通过像素网络预测初始去噪图像，然后使

用核网络预测每个像素上的滤波核，并以双边滤波的方式调整权重。基于去噪图

像数据集，本文提出了一种启发式视图合成算法和一种快速视图合成网络来满足

实时渲染需求。实验结果表明，本文提出的去噪网络具有更好的去噪效果，视图

合成算法能够在虚拟场景中以每秒30帧以上的速度高效地预测新视角图像。

关键词：深度学习，多目立体视觉，视图合成，神经辐射场，蒙特卡洛去噪

I

ABSTRACT

ABSTRACT

Thestudyofviewsynthesisaimstopredictimagesundernewperspectivesbasedon

knownimagesfromthescene.Recentresearcheshavecombinedmulti-viewstereoand

neuralradiancefieldstoachieveageneralizedviewsynthesisalgorithmacrossscenes,

yetsomeshortcomingspersist.Oneaspectistheneedfordensesamplingalongtheentire

queryraywhenconstructingradiancefields,leadingtoinefficientrendering.Another

challengeistheunderutilizationofgeometricfeatures,makingitdifficulttohandlescenes

withcomplexgeometries.

Toaddresstheseissues,weproposeadepth-guidedgeneralizedneuralradiancefields

algorithm.Specifically,adual-branchnetworkisdesignedtoextractimagepriorsand

geometricpriorssimultaneouslyfromRGBimagesanddepthmaps,withanattention-

basednetworktofacilitatemultimodalfeaturefusion.Subsequently,areprojectedpoint

cloudisconstructedbasedonthedepthmap,andnewdepthandfeaturemapsundernovel

viewpointaregeneratedthroughthepointcloudrenderingalgorithm.Totackletheine